【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】Logistic回归

在线性分类中介绍了0-1损失函数，模型为：
$$g(f(x;w))=\{\begin{array}{r}1iff(x;w)>0\\ 0iff(x;w)<0\end{array}$$

由于这个模型不可导，因此不能跟以前一样通过求导的方式来进行数学优化进而求解最优参数。而是需要通过将分类问题转换成概率估计问题，然后用交叉熵来建立损失函数。
对于分类问题，已知的只有判别函数$f(x;w)\in R$，要将分类问题看作条件概率估计问题，需要引入非线性函数$g$来预测类别标签的条件概率$p(y=c\mid x)$。以二分类问题为例，就是找到使得$p_{\theta }(y=1\mid x)=g(f(x;w))$成立的非线性函数，同时另一个$p_{\theta }(y=0\mid x)=1-p_{\theta }(y=1\mid x)$ 。因此，只需要再找到一个激活函数g就能把线性函数的值域从实数区间“挤压”到$(0,1)$之间来表示概率。

Logistic函数

Logistic函数是一个S型函数（或者说sigmoid型函数¹），当x趋于负无穷时函数趋向于0，x趋于正无穷时函数趋向于1，函数整体连续单增。Logistic函数上面提到的激活函数的一种：
$$\sigma (x)=\frac{1}{1+\exp (-x)}$$
函数图像如下：

这样就实现了将判别函数$f(x)$从实数域映射到区间$(0,1)$

Logistic 回归

模型预测的条件概率
$$\begin{array}{rl}{p}_{\theta }(y=1\mid x)& =\sigma (w^{T}x)\\ & \triangleq \frac{1}{1+\exp (-w^{T}x)}\\ & \\ p_{\theta }(y=0\mid x)& =1-p_{\theta }(y=1\mid x)\end{array}$$
对于一个样本$(x,y^{\ast })$，真实的条件概率
$$\begin{array}{rl}& p_r(y=1\mid x)=y^{\ast }\\ & p_r(y=0\mid x)=1-y^{\ast }\end{array}$$
这里的$y^{\ast }$表示一个具体的样本值，比如对于样本$(x_1,0)$那么$p_r(y=0\mid x_1)=1,p_r(y=1\mid x_1)=0$
用交叉熵建立两个分布之间的差异：
$$\begin{array}{rl}H(p_r,p_{\theta })& =-\sum _y{p}_r(y\mid x)\log p_{\theta }(y\mid x)\\ & =-p_r(y=1\mid x)\log p_{\theta }(y=1\mid x)-p_r(y=0\mid x)\log p_{\theta }(y=0\mid x)\\ & =-p_r(y=1\mid x)\log p_{\theta }(y=1\mid x)-(1-p_r(y=1\mid x))\log (1-p_{\theta }(y=1\mid x))\\ & 记p_{\theta }(y=1\mid x)=\hat{y}\\ & =-(y^{\ast }\log \hat{y}+(1-y^{\ast })\log (1-\hat{y}))\end{array}$$
两个分布之间差异越小，则交叉熵越小，这样就可以对其进行数学优化。取模型在训练集上的风险函数为交叉熵损失函数：
$$\mathcal{R}(w)=-\frac{1}{N}\sum _{n=1}^N({\hat{y}}^{(n)}\log {\hat{y}}^{(n)}+(1-y^{(n)})\log (1-{\hat{y}}^{(n)}))+\frac{1}{2}\parallel w{\parallel }^2$$
其中$\frac{1}{2}\parallel w{\parallel }^2$为正则项。
然后用梯度下降方式来进行优化，使损失函数尽可能接近于0。损失函数梯度为：
$$\begin{array}{rl}\frac{\partial {\hat{y}}^{(n)}}{\partial w}& =\frac{x^{(n)}\exp (-w^T{x}^{(n)})}{(1+\exp (-w^T{x}^{(n)}){)}^2}\\ & =\frac{1}{1+\exp (-w^T{x}^{(n)})}\cdot \frac{1+\exp (-w^T{x}^{(n)})-1}{1+\exp (-w^T{x}^{(n)})}\cdot x^{(n)}\\ & ={\hat{y}}^{(n)}(1-{\hat{y}}^{(n)})x^{(n)}\\ & \\ \frac{\partial \mathcal{R}(w)}{\partial w}& =-\frac{1}{N}\sum _{n=1}^N[y^{(n)}\frac{{\hat{y}}^{(n)}(1-{\hat{y}}^{(n)})x^{(n)}}{{\hat{y}}^{(n)}}-(1-y^{(n)})\frac{(1-{\hat{y}}^{(n)}){\hat{y}}^{(n)}{x}^{(n)}}{1-{\hat{y}}^{(n)}}]+2w\\ & =-\frac{1}{N}\sum _{n=1}^N{x}^{(n)}[y^{(n)}(1-{\hat{y}}^{(n)})-(1-y^{(n)}){\hat{y}}^{(n)}]+2w\\ & =-\frac{1}{N}\sum _{n=1}^N{x}^{(n)}(y^{(n)}-{\hat{y}}^{(n)})+2w\end{array}$$
梯度向量表示了$\mathcal{R}(w)$上升的方向，因此沿梯度反方向（梯度下降方向，也就是$-\frac{\partial \mathcal{R}(w)}{\partial w}$）对$w$进行迭代，迭代过程为：
$$w_{t+1}\leftarrow w_t+\alpha [\frac{1}{N}\sum _{n=1}^N{x}^{(n)}(y^{(n)}-{\hat{y}}^{(n)})+2w]$$
可见，$y^{(n)}$趋向于1时，$w$会更大，导致判别函数$w^{T}x$增大，最终结果$\sigma (x)$更靠近1；同理$y^{(n)}$趋向于0时，$w$会更小，导致判别函数$w^{T}x$减小，最终结果$\sigma (x)$更靠近0。
事实上，在进行梯度优化时并不需要将损失优化到非常小，只要能够使得判别函数经过激活函数后能够完成分类任务即可，例如：

虽然参数取值不同，但二者都可以对这两类进行很好的分类。

---

1. 一篇文章搞懂logit, logistic和sigmoid的区别 - 知乎 (zhihu.com) ↩︎