机器学习基石 之 逻辑回归（Logistic Regression）

逻辑回归（Logistic Regression）

软性二分类（Soft Binary Classification）

逻辑回归实际上是一种软性二分类（Soft Binary Classification），与 硬性二分类（Hard Binary Classification）的区别是数据一致，但是目标函数不同，软性二分类的目标是给出分类结果为正负样本的概率分别为多少，比如预测是否发放信用卡时，不在是 0/1 ，而是预测发放信用卡的概率的是多大。

目标函数公式如下：
$$f(\mathbf{x})=P(+1|\mathbf{x})\in [0,1]$$

逻辑假设函数（Logistic Hypothesis）

与硬二分类（perceptron）不同的是不在使用 sign 函数，取而代之的是逻辑函数 $\theta (s)$，利用分数（${\mathbf{w}}^T\mathbf{x}$）来估计概率，所以逻辑假设函数（Logistic hypothesis）如下：
$$h(\mathbf{x})=\theta \left({\mathbf{w}}^T\mathbf{x}\right)$$
其中 $\theta (s)$ 的数学表达为：
$$\theta (s)=\frac{e^s}{1+e^s}=\frac{1}{1+e^{-s}}$$
可以推导出 $1-\theta (s)=\theta (-s)$。

绘制出曲线如下：

可见 $\theta (s)$ 是光滑（smooth），单调（monotonic），像 S 一样的乙状（sigmoid）函数。

逻辑假设函数的最终形式为：
$$h(\mathbf{x})=\frac{1}{1+\exp \left(-{\mathbf{w}}^T\mathbf{x}\right)}$$

那么其也具备 $\theta (s)$ 的性质，即 $1-h(\mathbf{x})=h(-\mathbf{x})$。

由前所述，逻辑回归的目标函数可以获取该样本为分别为正负样本的概率：
$$P(y|\mathbf{x})=\{\begin{array}{ll}f(\mathbf{x})& \text{ for }y=+1\\ 1-f(\mathbf{x})& \text{ for }y=-1\end{array}$$

交叉熵误差（Cross-Entropy Error）

现在有了逻辑假设函数，那么 $E_{\text{in }}(\mathbf{w})$ 如何设计呢，这里选择全部样本分类正确的概率，这里叫做 $\text{likelihood}(h)$：

Consider D = { ( x 1 , 1 ) , ( x 2 , − 1 ) , … , ( x N , − 1 ) } \mathcal { D } = \left\{ \left( \mathbf { x } _ { 1 } , 1 \right) , \left( \mathbf { x } _ { 2 } , -1 \right) , \ldots , \left( \mathbf { x } _ { N } , -1 \right) \right\} D={(x1​,1),(x2​,−1),…,(xN​,−1)} :
$$\begin{array}{rl}\text{ likelihood}(h)& =P\left({\mathrm{x}}_1\right)P(1|{\mathrm{x}}_1)\times P\left({\mathrm{x}}_2\right)P(-1|{\mathrm{x}}_2)\times \dots P\left({\mathrm{x}}_N\right)P(-1|{\mathrm{x}}_N)\\ & =P\left({\mathrm{x}}_1\right)h\left({\mathrm{x}}_1\right)\times P\left({\mathrm{x}}_2\right)\left(1-h\left({\mathrm{x}}_2\right)\right)\times \dots P\left({\mathrm{x}}_N\right)\left(1-h\left({\mathrm{x}}_N\right)\right)\\ & =P\left({\mathrm{x}}_1\right)h\left({\mathrm{x}}_1\right)\times P\left({\mathrm{x}}_2\right)h\left(-{\mathrm{x}}_2\right)\times \dots P\left({\mathrm{x}}_N\right)h\left(-{\mathrm{x}}_N\right)\\ & =P\left({\mathrm{x}}_1\right)h\left(y_1{\mathrm{x}}_1\right)\times P\left({\mathrm{x}}_2\right)h\left(y_2{\mathrm{x}}_2\right)\times \dots P\left({\mathrm{x}}_N\right)h\left(y_n{\mathrm{x}}_N\right)\\ & =\prod _{n=1}^{N}h\left(y_n{\mathbf{x}}_n\right)\end{array}$$
那么最佳假设函数 $g$ 为：
$$g=\underset{h}{\mathrm{argmax}}\mathrm{likelihood}(h)$$

为了方便计算这里将$\text{ likelihood}(h)$ 做一下转换：
$$\text{ likelihood}(\mathbf{w})\propto \prod _{n=1}^N\theta \left(y_n{\mathbf{w}}^T{\mathbf{x}}_n\right)$$
现在可以将其转换为相同任务的另一种形式，将连乘和求最大值转换为累加和求最小值：
$$\begin{array}{rl}\underset{\mathbf{w}}{\max }\text{ likelihood}(\mathbf{w})& \Rightarrow \underset{\mathbf{w}}{\max }\ln \text{ likelihood}(\mathbf{w})\\ & \Rightarrow \underset{\mathbf{w}}{\max }\sum _{n=1}^N\ln \theta \left(y_n{\mathbf{w}}^T{\mathbf{x}}_n\right)\\ & \Rightarrow \underset{\mathbf{w}}{\min }\frac{1}{N}\sum _{n=1}^N-\ln \theta \left(y_n{\mathbf{w}}^T{\mathbf{x}}_n\right)\\ & \Rightarrow \underset{\mathbf{w}}{\min }\frac{1}{N}\sum _{n=1}^N-\ln \left(\frac{1}{1+\exp \left(y_n{\mathbf{w}}^T{\mathbf{x}}_n\right)}\right)\\ & \Rightarrow \underset{\mathbf{w}}{\min }\frac{1}{N}\sum _{n=1}^N\ln \left(1+\exp \left(y_n{\mathbf{w}}^T{\mathbf{x}}_n\right)\right)\\ & \Rightarrow \underset{\mathbf{w}}{\min }\frac{1}{N}\sum _{n=1}^N\text{err}\left(\mathbf{w},{\mathbf{x}}_n,y_n\right)\Rightarrow E_{\text{in}}(\mathbf{w})\end{array}$$

其中 $\text{err}\left(\mathbf{w},{\mathbf{x}}_n,y_n\right)=\ln \left(1+\exp \left(y_n{\mathbf{w}}^T{\mathbf{x}}_n\right)\right)$ 被称作交叉熵误差（cross-entropy error）。

梯度下降 （Gradient Descent）

求得的$E_{\text{in}}$ 仍然是连续的（continuous）， 可微的（differentiable），二次可微的（twice-differentiable），凸的（convex）函数。那么根据连续可微凸函数的最优必要条件梯度为零，便可以获得最优的hypothesis。

下面来推导一下梯度 $\nabla E_{\text{in}}(\mathbf{w})$：

为了书写方便用圆圈和方块表示两个部分：
$$E_{\mathrm{i}\mathrm{n}}(\mathbf{w})=\frac{1}{N}\sum _{n=1}^N\ln (\underset{\square }{\underbrace{1+\exp (\stackrel{◯}{\overbrace{-y_n{\mathbf{w}}^T{\mathbf{x}}_n}})}})$$
那么 $E_{\text{in}}$ 在 ${\mathbf{w}}_i$ 上的偏导为：
$$\begin{array}{rl}\frac{\partial E_{\text{in }}(\mathbf{w})}{\partial {\mathbf{w}}_i}& =\frac{1}{N}\sum _{n=1}^N\left(\frac{\partial \ln (\square )}{\partial \square }\right)\left(\frac{\partial (1+\exp (◯))}{\partial ◯}\right)\left(\frac{\partial -y_n{\mathbf{W}}^T{\mathbf{x}}_n}{\partial w_i}\right)\\ & =\frac{1}{N}\sum _{n=1}^N\left(\frac{1}{\square }\right)\left(\exp (◯)\right)\left(-y_n{\mathbf{x}}_{n,i}\right)\\ & =\frac{1}{N}\sum _{n=1}^N\left(\frac{\exp (◯)}{\exp (◯)+1}\right)\left(-y_n{\mathbf{x}}_{n,i}\right)\\ & =\frac{1}{N}\sum _{n=1}^N\theta (◯)\left(-y_n{\mathbf{x}}_{n,i}\right)\end{array}$$
那么进一步可求得：
$$\nabla E_{\text{in}}(\mathbf{w})=\frac{1}{N}\sum _{n=1}^N\theta (-y_n{\mathbf{w}}^T{\mathbf{x}}_n)\left(-y_n{\mathbf{x}}_n\right)$$

如何使得梯度为零呢？

这里借鉴与PLA，使用迭代优化策略（iterative optimization approach）：

For $t=0,1,\dots$
$${\mathbf{w}}_{t+1}\leftarrow {\mathbf{w}}_t+\eta \mathbf{v}$$

when stop, return last $\mathbf{w}$ as $g$.

其中 $\mathbf{v}$ 为单位方向向量，即 $||\mathbf{v}||=1$；而 $\eta$ 代表了步长，所以用为正实数。

那么优化目标便变成：
$$\underset{\Vert \mathbf{v}\Vert =1}{\min }{E}_{\mathrm{i}\mathrm{n}}\left({\mathbf{w}}_t+\eta \mathbf{v}\right)$$

方向向量 $\mathbf{v}$

那么先不考虑步长，认为其非常小，那么可以通过一阶泰勒展开转换为：
$$E_{\mathrm{i}\mathrm{n}}\left({\mathbf{w}}_t+\eta \mathbf{v}\right)\approx E_{\mathrm{i}\mathrm{n}}\left({\mathbf{w}}_t\right)+\eta {\mathbf{v}}^T\nabla E_{\mathrm{i}\mathrm{n}}\left({\mathbf{w}}_t\right)$$

可以看出：
$$\underset{\Vert \mathbf{v}\Vert =1}{\min }\underset{\text{known }}{\underbrace{E_{\text{in }}\left({\mathbf{w}}_t\right)}}+\underset{\text{given positive }}{\underbrace{\eta }}{\mathbf{v}}^T\underset{\text{known }}{\underbrace{\nabla E_{\text{in }}\left({\mathbf{w}}_t\right)}}$$
看下图，当在原始点向最优点搜索时，应当顺着负梯度方向搜索。

同时从理论上讲，在不考虑步长时，当两个向量方向相反时，其乘积最小，所以方向向量应该是与梯度方向完全相反的单位向量：
$$\mathbf{v}=-\frac{\nabla E_{\mathrm{i}\mathrm{n}}\left({\mathbf{W}}_t\right)}{\Vert \nabla E_{\mathrm{i}\mathrm{n}}\left({\mathbf{W}}_t\right)\Vert }$$
那么迭代函数（$\eta$ is small）则为：
$${\mathbf{w}}_{t+1}\leftarrow {\mathbf{w}}_t-\eta \frac{\nabla E_{\mathrm{i}\mathrm{n}}\left({\mathbf{w}}_t\right)}{\Vert \nabla E_{\mathrm{i}\mathrm{n}}\left({\mathbf{w}}_t\right)\Vert }$$

步长 $\eta$

观察下面三条曲线：

可以看出步长应当随着梯度大小进行调整，也就是第三条曲线上的搜索过程是最佳的。即步长 $\eta$ 应与 $\Vert \nabla E_{\mathrm{i}\mathrm{n}}\left({\mathbf{W}}_t\right)\Vert$ 单调（monotonic）相关。

现在令 $\eta =\eta \cdot \Vert \nabla E_{\mathrm{i}\mathrm{n}}\left({\mathbf{W}}_t\right)\Vert$ ，那么迭代式可进一步转换为：
$${\mathbf{w}}_{t+1}\leftarrow {\mathbf{w}}_t-\eta \nabla E_{\mathrm{i}\mathrm{n}}\left({\mathbf{w}}_t\right)$$
这就是梯度下降法，一个简单而有常用的优化工具（a simple & popular optimization tool）。

算法实现

initialize ${\mathbf{w}}_0$

For $t=0,1,\dots$

• cumpute
  $$\nabla E_{\text{in}}(\mathbf{w})=\frac{1}{N}\sum _{n=1}^N\theta (-y_n{\mathbf{w}}^T{\mathbf{x}}_n)\left(-y_n{\mathbf{x}}_n\right)$$

• update by
  $${\mathbf{w}}_{t+1}\leftarrow {\mathbf{w}}_t-\eta \nabla E_{\mathrm{i}\mathrm{n}}\left({\mathbf{w}}_t\right)$$

• … until $\nabla E_{\text{in}}(\mathbf{w})=0$ or enough iterations

return ${\mathbf{w}}_{t+1}$ as g

逻辑回归（Logistic Regression）$\to$分类（Classification）

在学习线性回归时就讨论过是否可以用于分类，现在进行相同的分析：

先令 $s={\mathbf{w}}^T\mathbf{x}$ ，同时当用于二分类时 y ∈ { − 1 , + 1 } y \in \{ - 1 , + 1 \} y∈{−1,+1} 所以各误差函数可以转换如下：

$$\begin{array}{rl}{\text{err}}_{\text{0/1 }}(s,y)& =[\mathrm{sign}(s)\ne y]=[\mathrm{sign}(ys)\ne 1]\\ {\text{err}}_{\text{SQR}}(s,y)& =(y-s{)}^2=(ys-1{)}^2\\ {\text{err}}_{\text{CE }}(s,y)& =\ln (1+\exp (-ys))\\ {\text{err}}_{\text{SCE}}(s,y)& ={\log }_2(1+\exp (-ys))\end{array}$$

其中 ${\text{err}}_{\text{SCE}}$ 是通过 ${\text{err}}_{\text{CE}}$ 乘以 $1/\ln (2)$ 获得的。

绘制出误差函数的曲线图关系（其中 ${\text{err}}_{\text{CE}}$ 与 ${\text{err}}_{\text{SCE}}$ 相似不再绘制）：

由图可知：
$${\mathrm{err}}_{0/1}(s,y)\le {\mathrm{err}}_{\mathrm{S}\mathrm{C}\mathrm{E}}(s,y)=\frac{1}{\ln 2}{\mathrm{err}}_{\mathrm{C}\mathrm{E}}(s,y)$$
进而推导得：
$$\begin{gathered} E_{\mathrm{i}\mathrm{n}}^{0/1}(\mathbf{w})\le E_{\mathrm{i}\mathrm{n}}^{\mathrm{S}\mathrm{C}\mathrm{E}}(\mathrm{W})=\frac{1}{\ln 2}{E}_{\mathrm{i}\mathrm{n}}^{\mathrm{C}\mathrm{E}}(\mathbf{w}) \\ {E}_{\mathrm{o}\mathrm{u}\mathrm{t}}^{0/1}(\mathbf{w})\le E_{\mathrm{o}\mathrm{u}\mathrm{t}}^{\mathrm{S}\mathrm{C}\mathrm{E}}(\mathrm{W})=\frac{1}{\ln 2}{E}_{\mathrm{o}\mathrm{u}\mathrm{t}}^{\mathrm{C}\mathrm{E}}(\mathbf{w}) \end{gathered}$$

那么可以得知：

$$\begin{array}{rl}{E}_{\mathrm{o}\mathrm{u}\mathrm{t}}^{0/1}(\mathbf{w})& \le E_{\mathrm{i}\mathrm{n}}^{0/1}(\mathbf{w})+{\Omega }^{0/1}\\ & \le \frac{1}{\ln 2}{E}_{\mathrm{i}\mathrm{n}}^{CE}(\mathbf{w})+{\Omega }^{0/1}\end{array}$$

或者：
$$\begin{array}{rl}{E}_{\text{out }}^{0/1}(\mathbf{w})& \le \frac{1}{\ln 2}{E}_{\text{out }}^{\mathrm{C}\mathrm{E}}(\mathbf{W})\\ & \le \frac{1}{\ln 2}{E}_{\text{in }}^{\mathrm{C}\mathrm{E}}(\mathbf{W})+\frac{1}{\ln 2}{\Omega }^{\mathrm{C}\mathrm{E}}\end{array}$$
进而得知：
$$\text{ small }{E}_{\mathrm{i}\mathrm{n}}^{\mathrm{C}\mathrm{E}}(\mathbf{w})\Rightarrow \text{ small }{E}_{\mathrm{o}\mathrm{u}\mathrm{t}}^{0/1}(\mathbf{w})$$
所以逻辑回归可以用于分类。

实际运用中：

• linear regression sometimes used to set w0 for PLA/pocket/logistic regression
  线性回归可用于获取PLA/pocket/logistic regression的初始权重向量
• logistic regression often preferred over pocket
  逻辑回归比口袋算法更为常用

随机梯度下降 （Stochastic Gradient Descent）

随机梯度下降的思想为：
$$\text{stochastic gradient}=\text{true gradient}+\text{zero-mean ‘noise’ directions}$$
即认为在迭代足够多步后：
$$\text{average true gradient}\approx \text{average stochastic gradient}$$
其迭代公式为：
$${\mathbf{w}}_{t+1}\leftarrow {\mathbf{w}}_t+\eta \underset{-\nabla \mathrm{err}\left({\mathbf{w}}_t,{\mathbf{x}}_n,y_n\right)}{\underbrace{\theta \left(-y_n{\mathbf{w}}_t^T{\mathbf{x}}_n\right)\left(y_n{\mathbf{x}}_n\right)}}$$
由此看出其使用单个样本的误差梯度替换全部的梯度，将时间复杂度由 $O(N)$ 降为 $O(1)$ 。