【机器学习】浅谈逻辑回归

概述

Logistic回归和Softmax回归都是在采用逻辑回归的思想来解决分类问题。

逻辑回归是一种二分类模型，用于解决二分类问题。它通过将输入特征与权重相乘并加上偏置项，然后将结果通过一个Sigmoid函数（也称为Logistic函数）映射到0到1之间的概率值，用于预测样本属于某一类别的概率。

Softmax函数是一种常用的多类别分类激活函数。它可以将一组实数转化为概率分布，使得每个类别的概率值都在0到1之间且总和为1。Softmax函数的计算公式是对输入向量中的每个元素进行指数运算，然后将结果进行归一化。

Logistic Softmax是一种常用的分类模型，常用于多类别分类任务。它是基于Logistic Regression（逻辑回归）和Softmax函数的组合。
Logistic Softmax模型将逻辑回归和Softmax函数结合在一起，用于解决多类别分类问题。它通过将每个类别与一个权重向量相乘，并加上偏置项，然后将结果通过Softmax函数进行归一化，得到每个类别的概率值。最终，模型会预测样本属于概率最高的类别。

Logistic Softmax模型可以通过梯度下降等优化算法进行训练，调整权重和偏置项，使得模型能够更好地拟合训练数据，并在测试数据上进行准确的多类别分类预测。

几率(odd)

假设一个时间发生的概率为P，则
$odd=\frac{P}{1-P}$
二分类问题：一个问题发生和不发生就是一个最简单的二分类问题

logistic回归

逻辑回归是一种二分类模型，用于解决二分类问题。它通过将输入特征与权重相乘并加上偏置项，然后将结果通过一个Sigmoid函数（也称为Logistic函数）映射到0到1之间的概率值，用于预测样本属于某一类别的概率。

逻辑回归也可以处理多分类问题，先采用OVR思想将多分类问题转为多个二分类问题，再采用逻辑回归思想进行处理。

Logistic/sigmoid函数

• 目的是求解参数 θ

p = h θ ( x ) = g ( θ T x ) = 1 1 + e − θ T x y = { 1 0   y ^ = { 1 , p > t h r e s h o l d 0 , p ≤ t h r e s h o l d \begin{gathered} p=h_{θ}(x)=g(θ^Tx)=\frac{1}{1+e^{-θ^Tx}} \quad \\y=\left\{\begin{array}{l}1\\ 0\end{array} \,\quad\quad \hat{y}=\{\begin{array}{l}1,p>threshold\\ 0,p≤threshold\end{array} \right.\\ \end{gathered} p=hθ​(x)=g(θTx)=1+e−θTx1​y={10​y^​={1,p>threshold0,p≤threshold​​

KaTeX parse error: {align} can be used only in display mode.
重要：sigmoid函数的导数等于它本身乘以1减去它本身
$g^{\prime }(z)=g(z)(1-g(z))$

Logistic回归及似然函数

Softmax回归

• softmax回归是logistic回归的一般化，适用于K分类的问题，针对每个类别都有一个参数向量θ，第k类类的参数为向量${\theta }_k$（特征）,组成的二维矩阵为${\theta }_{k\ast n}$；
• softmax函数的本质就是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0, 1）之间。
• softmax回归概率函数为：

$p(y=k|x;\theta )=\frac{e^{{\theta }_k^{T}x}}{{\sum }_{l=1}^K{e}_l^{T}x},k=1,2,...,K$

softmax算法原理

Softmax算法损失函数

OVO和OVR思想

OVO和OVR是两种不同的思想或理论。当面对多类别分类问题时，OVO和OVR思想提供了两种不同的方法来解决这个问题。

OVO（One-vs-One）思想是指在机器学习中，将多个类别的分类问题转化为多个二分类问题的思想。具体来说，对于有N个类别的问题，OVO思想会生成N(N-1)/2个分类器，每个分类器用于将其中两个类别进行区分。最终的分类结果通过投票或其他方式来确定。
OVO思想的优点是每个分类器只需要处理两个类别，因此训练和测试的时间复杂度相对较低。
然而，OVO思想需要生成大量的分类器，因此对于大规模问题，它可能会变得非常耗时和资源消耗。

OVR（One-vs-Rest）思想是指将多类别分类问题转化为多个二分类问题的思想。具体来说，对于有N个类别的问题，OVR思想会生成N个分类器，每个分类器用于将其中一个类别与其他所有类别进行区分。最终的分类结果是通过比较每个分类器的置信度或概率来确定。
OVR思想的优点是只需要生成N个分类器，因此在大规模问题上的计算复杂度较低。
然而，OVR思想可能会出现类别不平衡的问题，因为每个分类器只关注一个类别，可能导致某些类别的样本数量较少。

两种思想在实际应用中有不同的适用场景。
OVO思想通常适用于小规模的多类别分类问题，因为它需要生成大量的分类器，计算复杂度较高。
而OVR思想则适用于大规模的多类别分类问题，因为它只需要生成N个分类器，计算复杂度较低。
总的来说，OVO和OVR思想都是解决多类别分类问题的有效方法，选择哪种方法取决于具体的问题规模和需求。对于小规模问题，OVO思想可以提供更准确的分类结果，但计算复杂度较高。对于大规模问题，OVR思想可以提供较低的计算复杂度，但可能会受到类别不平衡的影响。

先验概率和后验概率

先验概率（Prior Probability）是指在考虑任何新证据之前，根据以往的经验或已有的知识，对一个事件或假设的概率进行估计。
后验概率（Posterior Probability）是指在考虑了新的证据或信息之后，根据贝叶斯定理重新计算得到的概率。
先验概率和后验概率是贝叶斯统计推断的基础。贝叶斯定理通过先验概率和条件概率来计算后验概率，从而更新对事件或假设的概率估计。