【机器学习】逻辑斯蒂回归/逻辑回归&Softmax回归

逻辑斯蒂回归/逻辑回归

线性回归的任务是预测，如果拿来做分类是这个效果：
$$\mathbf{z}={\mathbf{w}}^T\mathbf{x}\Rightarrow y=\{\begin{array}{ll}0,& \mathbf{z}<0\\ 0.5,& \mathbf{z}=0\\ 1,& \mathbf{z}>0\end{array}$$
这个函数是不连续的，输入为零的时候有间断点，并且有扰动时分类结果并不好。

在这里可以用逻辑斯蒂函数来模拟：
$$\mathbf{z}={\mathbf{w}}^T\mathbf{x}\Rightarrow y=\frac{1}{1+e^{-\mathbf{z}}}$$
这个函数就是$sigmod$函数，它长这个样子

而$\mathbf{z}={\mathbf{w}}^T\mathbf{x}\Rightarrow y=\frac{1}{1+e^{-\mathbf{z}}}$也就组成了逻辑回归算法，即先对样本提取特征，然后送入sigmod函数做分类。

仔细看一下这个函数：$y=\frac{1}{1+e^{-\mathbf{z}}}$，这不就是上一节提到的广义线性回归的一个特例：
$$\frac{y}{1-y}=\frac{\frac{1}{1+e^{-z}}}{1-\frac{1}{1+e^{-z}}}=\frac{\frac{1}{1+e^{-z}}}{\frac{e^{-z}}{1+e^{-z}}}=e^z$$
两边取对数得到：
$$\log \frac{y}{1-y}=\mathbf{z}={\mathbf{w}}^T\mathbf{x}$$
所以逻辑斯蒂回归也叫做对数几率回归。

逻辑斯蒂回归的概率解释

• 分类概率
  $$y=\frac{1}{1+\exp (-{\mathbf{w}}^T\mathbf{x})}$$
  当$\mathbf{w}$一定时，样本$\mathbf{x}$属于$y=1$的后验概率可以表示为：
  $$p_1(\mathbf{x};\mathbf{w})=p(y=1|\mathbf{x};\mathbf{w})=\frac{\exp ({\mathbf{w}}^T\mathbf{x})}{1+\exp ({\mathbf{w}}^T\mathbf{x})}$$
  随着$\mathbf{z}$的增大，y趋近于1，即正样本的分类。

  样本属于$y=0$的后验概率为：
  $$p_0(\mathbf{x};\mathbf{w})=p(y=0|\mathbf{x};\mathbf{w})=\frac{1}{1+\exp ({\mathbf{w}}^T\mathbf{x})}$$
  反之，趋向于0，为负样本。

• 贝叶斯决策

  $\log \frac{p(y=1|\mathbf{x};\mathbf{w})}{p(y=0|\mathbf{x};\mathbf{w})}={\mathbf{w}}^T\mathbf{x}\Rightarrow \{\begin{array}{ll}{\mathbf{w}}^T\mathbf{x}>0& \to y=1\\ {\mathbf{w}}^T\mathbf{x}<0& \to y=0\end{array}$

  由上式可知，当$p(y=1)>p(y=0)$时，样本取为正样本，反之，样本取为负样本。

• 从生成模型和判决模型的角度来讲，逻辑斯蒂回归算法属于判决模型。

  建模直接找后验概率就是判决模型。

• 逻辑斯蒂回归直接对分类的可能性进行建模，无需事先假设数据分布，避免数据分布假设不准确带来的问题。

  不需要建模先验，也不需要建似然，和上一条判决模型是一致的。

• 逻辑斯蒂回归不禁输出分类类别，而且还能得到概率近似。

逻辑斯蒂回归的极大似然推导

首先假设X服从伯努利分布，即：

$y_n$	1	0
$p_n$	$p_1({\mathbf{x}}_n;\mathbf{w})$	$p_0({\mathbf{x}}_n;\mathbf{w})$

那么$N$个样本的极大似然估计计算如下：
$$p({\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_{\mathbf{N}};\mathbf{w})=\prod _{n=1}^N[p_1({\mathbf{x}}_n;\mathbf{w}){]}^{y_n}[p_0({\mathbf{x}}_n;\mathbf{w}){]}^{1-y_n}$$
所以求左边的最大值就是求其负对数的最小值：
$$\underset{\mathbf{w}}{\max }p({\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_{\mathbf{N}};\mathbf{w})\iff \underset{\mathbf{w}}{\min }[-\log p({\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_{\mathbf{N}};\mathbf{w})]$$
由此可得目标函数为：
$$L(\mathbf{w})=-\log p({\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_{\mathbf{N}}$$