logistics regression

1. 线性模型$$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}$$值域是$$(-\infty ,\infty )$$
2. sigmoid函数表达式为：$$\sigma (x)=\frac{1}{1+e^{-x}}$$
3. 把线性回归模型的输出作为sigmoid函数的输入变成了逻辑回归模型：
   $$y=\sigma (f(\mathbf{x}))=\sigma ({\mathbf{w}}^T\mathbf{x})=\frac{1}{1+e^{-{\mathbf{w}}^T\mathbf{x}}}$$
4. Loss Function

衡量模型的输出与真实输出的差别
假设只有两个标签1和0， y n ∈ { 0 , 1 } y_n \in\{0, 1\} yn​∈{0,1}。
把采集到的任何一组样本看做一个事件的话，这个事件发生的概率假设为p。
我们的模型y的值等于标签为1的概率也就是p。$$P_{y=1}=\frac{1}{1+e^{-{\mathbf{w}}^T\mathbf{x}}}=p$$
因为标签不是1就是0，因此标签为0的概率就是：$$P_{y=0}=1-p$$。
我们把单个样本看做一个事件，那么这个事件发生的概率就是：
$$P(y|\mathbf{x})=\{\begin{array}{r}p,y=1\\ 1-p,y=0\end{array}$$
这个函数不方便计算，它等价于:$$P(y_i|{\mathbf{x}}_i)=p^{y_i}(1-p{)}^{1-y_i}$$
这个函数的含义，采集到了一个样本$$({\mathbf{x}}_{\mathbf{i}},y_i)$$。对这个样本，它的标签是 $y_i$ 的概率是 $$p^{y_i}(1-p{)}^{1-y_i}$$
（当y=1，结果是p；当y=0，结果是1-p）
如果我们采集到了一组数据一共N个，
{ ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x 3 , y 3 ) . . . ( x N , y N ) } \{(\bm{x}_1,y_1),(\bm{x}_2,y_2),(\bm{x}_3,y_3)...(\bm{x}_N,y_N)\} {(x1​,y1​),(x2​,y2​),(x3​,y3​)...(xN​,yN​)}，
合成在一起的合事件发生的总概率就是将每一个样本发生的概率相乘，即采集到这组样本的概率：
$$\begin{array}{rl}{P}_{总}& =P(y_1|{\mathbf{x}}_1)P(y_2|{\mathbf{x}}_2)P(y_3|{\mathbf{x}}_3)....P(y_N|{\mathbf{x}}_N)\\ & =\prod _{n=1}^N{p}^{y_n}(1-p{)}^{1-y_n}\end{array}$$
注意$P_{总}$是一个函数，并且未知的量只有$\mathbf{w}$ （在p里面）。
由于连乘很复杂，我们通过两边取对数来把连乘变成连加的形式，即：
$$\begin{array}{rl}F(\mathbf{w})=ln(P_{总})& =ln(\prod _{n=1}^N{p}^{y_n}(1-p{)}^{1-y_n})\\ & =\sum _{n=1}^{N}ln(p^{y_n}(1-p{)}^{1-y_n})\\ & =\sum _{n=1}^N(y_{n}ln(p)+(1-y_n)ln(1-p))\end{array}$$
其中， $$p=\frac{1}{1+e^{-{\mathbf{w}}^T\mathbf{x}}}$$
这个函数$F(\mathbf{w})$ 又叫做它的损失函数。
损失函数可以理解成衡量我们当前的模型的输出结果，跟实际的输出结果之间的差距的一种函数。这里的损失函数的值等于事件发生的总概率，我们希望它越大越好。但是跟损失的含义有点儿违背，因此也可以在前面取个负号。

5. 最大似然估计MLE(Maximum Likelihood Estimation)

我们在真实世界中并不能直接看到概率是多少，我们只能观测到事件是否发生。也就是说，我们只能知道一个样本它实际的标签是1还是0。那么我们如何估计参数 w 跟b的值呢？
MLE就是一种估计参数 w 的方法。在这里如何使用MLE来估计 w 呢？
在上一节，我们知道损失函数F（w）是正比于总概率 $P_{总}$的，而$F（w）$又只有一个变量 w 。即，通过改变 w的值，就能得到不同的总概率值 $P_{总}$。那么当我们选取的某个$w^{\ast }$刚好使得总概率$ P_{总}$ 取得最大值的时候。我们就认为这个$w^{\ast }$就是我们要求得的w的值，这就是最大似然估计的思想。
现在我们的问题变成了，找到一个$w^{\ast }$ ，使得我们的总事件发生的概率，即损失函数$F（w）$取得最大值，这句话用数学语言表达就是：
$${\mathbf{w}}^{\ast }=arg\underset{w}{\max }F(\mathbf{w})=-arg\underset{w}{\min }F(\mathbf{w})$$

6. 求F（w）的梯度 $\nabla F（\mathbf{w}）$

梯度的定义
对于一个一维的标量x，它有导数 x’ 。
对一个多维的向量$\mathbf{x}=(x_1,x_2,x_3,..,x_n)$来说，它的导数叫做梯度，也就是分别对于它的每个分量求导数${\mathbf{x}}^{\prime }=(x_1^{\prime },x_2^{\prime },x_3^{\prime },..,x_n^{\prime })$

7. 求梯度的推导过程

为了求出$F（\mathbf{w}）$的梯度$\nabla F（\mathbf{w}）$，
准备工作:
我们只要记住几个结论就行了：
对于一个矩阵$\mathbf{A}$乘以一个向量的方程 $\mathbf{A}\mathbf{x}$ ，对向量$\mathbf{w}$求导的结果是${\mathbf{A}}^T$ 。
在这里我们把函数$\mathbf{A}\mathbf{x}$对$\mathbf{w}$求梯度简单记作$（\mathbf{A}\mathbf{x}{）}^{\prime }$ 。因此$（\mathbf{A}\mathbf{x}{）}^{\prime }={\mathbf{A}}^T$
, 推论是$（{\mathbf{x}}^T\mathbf{A}{）}^{\prime }=\mathbf{A}$ ，
我们把 $\mathbf{x},{\mathbf{w}}^T$代入，可以知道$({\mathbf{w}}^T\mathbf{x}{)}^{\prime }=\mathbf{x}$ 。
然后求 1-p 的值：
$1-p=\frac{e^{-{\mathbf{w}}^T\mathbf{x}}}{1+e^{-{\mathbf{w}}^T\mathbf{x}}}$
p是一个关于变量$\mathbf{w}$的函数，我们对p求导，通过链式求导法则，慢慢展开可以得：$$\begin{array}{rl}{p}^{\prime }=f^{\prime }(\mathbf{w})& =(\frac{1}{1+e^{-{\mathbf{w}}^T\mathbf{x}}}{)}^{\prime }\\ & =-\frac{1}{(1+e^{-{\mathbf{w}}^T\mathbf{x}}{)}^2}\cdot (1+e^{-{\mathbf{w}}^T\mathbf{x}}{)}^{\prime }\\ & =-\frac{1}{(1+e^{-{\mathbf{w}}^T\mathbf{x}}{)}^2}\cdot e^{-{\mathbf{w}}^T\mathbf{x}}\cdot (-{\mathbf{w}}^T\mathbf{x}{)}^{\prime }\\ & =-\frac{1}{(1+e^{-{\mathbf{w}}^T\mathbf{x}}{)}^2}\cdot e^{-{\mathbf{w}}^T\mathbf{x}}\cdot (-\mathbf{x})\\ & =\frac{e^{-{\mathbf{w}}^T\mathbf{x}}}{(1+e^{-{\mathbf{w}}^T\mathbf{x}}{)}^2}\cdot \mathbf{x}\\ & =\frac{1}{1+e^{-{\mathbf{w}}^T\mathbf{x}}}\cdot \frac{e^{-{\mathbf{w}}^T\mathbf{x}}}{1+e^{-{\mathbf{w}}^T\mathbf{x}}}\cdot \mathbf{x}\\ & =p(1-p)\mathbf{x}\end{array}$$
上面都是我们做的准备工作，总之我们得记住：$p^{\prime }=p(1-p)\mathbf{x}$, 并且可以知道 $(1-p{)}^{\prime }=-p(1-p)\mathbf{x}$ 。
下面我们正式开始对$F(\mathbf{w})$求导，
求导的时候请始终记住，我们的变量只有 $\mathbf{w}$，其他的什么$y_n,{\mathbf{x}}_n$都是已知的，可以看做常数。
$$\begin{array}{rl}\nabla F（\mathbf{w}）& =\nabla （\sum _{n=1}^N(y_{n}ln(p)+(1-y_n)ln(1-p))）\\ & =\sum (y_{n}l{n}^{\prime }(p)+(1-y_n)l{n}^{\prime }(1-p))\\ & =\sum ((y_n\frac{1}{p}{p}^{\prime })+(1-y_n)\frac{1}{1-p}(1-p{)}^{\prime })\\ & =\sum (y_n(1-p){\mathbf{x}}_n-(1-y_n)p{\mathbf{x}}_n)\\ & =\sum _{n=1}^N(y_n-p){\mathbf{x}}_n\end{array}$$
终于，我们求出了梯度$\nabla F（\mathbf{w}）$的表达式了，现在我们再来看看它长什么样子：$$\begin{array}{rl}\nabla F（\mathbf{w}）& =\sum _{n=1}^N(y_n-p){\mathbf{x}}_n\end{array}$$
它是如此简洁优雅，这就是我们选取sigmoid函数的原因之一。当然我们也能够把p再展开，即：$$\begin{array}{rl}\nabla F（\mathbf{w}）& =\sum _{n=1}^N(y_n-\frac{1}{1+e^{-{\mathbf{w}}^T{\mathbf{x}}_n}}){\mathbf{x}}_n\end{array}$$

8. 梯度下降法（GD）与随机梯度下降法（SGD）

现在我们已经解出了损失函数$F（\mathbf{w}）$在任意 $\mathbf{w}$ 处的梯度$\nabla F（\mathbf{w}）$，可是我们怎么算出来${\mathbf{w}}^{\ast }$ 呢？ 回到之前的问题，我们现在要求损失函数取最大值时候的${\mathbf{w}}^{\ast }$的值：
$${\mathbf{w}}^{\ast }=arg\underset{w}{\max }F(\mathbf{w})$$
梯度下降法(Gradient Descent)，可以用来解决这个问题。核心思想就是先随便初始化一个${\mathbf{w}}_0$ ，然后给定一个步长$\eta$ ，通过不断地修改 ${\mathbf{w}}_{t+1}<-{\mathbf{w}}_t$ ，从而最后靠近到达取得最大值的点，即不断进行下面的迭代过程，直到达到指定次数，或者梯度等于0为止。$${\mathbf{w}}_{t+1}={\mathbf{w}}_t+\eta \nabla F（\mathbf{w}）$$
随机梯度下降法（Stochastic Gradient Descent），如果我们能够在每次更新过程中，加入一点点噪声扰动，可能会更加快速地逼近最优值。在SGD中，我们不直接使用$\nabla F（\mathbf{w}）$，而是采用另一个输出为随机变量的替代函数$G(\mathbf{w})$ :
$${\mathbf{w}}_{t+1}={\mathbf{w}}_t+\eta G(\mathbf{w})$$
当然，这个替代函数$G(\mathbf{w})$需要满足它的期望值等于$\nabla F（\mathbf{w}）$，相当于这个函数围绕着$\nabla F（\mathbf{w}）$的输出值随机波动。
在这里我先解释一个问题：为什么可以用梯度下降法？
因为逻辑回归的损失函数L是一个连续的凸函数（conveniently convex）。
这样的函数的特征是，它只会有一个全局最优的点，不存在局部最优。
对于GD跟SGD最大的潜在问题就是它们可能会陷入局部最优。然而这个问题在逻辑回归里面就不存在了，因为它的损失函数的良好特性，导致它并不会有好几个局部最优。当我们的GD跟SGD收敛以后，我们得到的极值点一定就是全局最优的点，因此我们可以放心地用GD跟SGD来求解。
好了，那我们要怎么实现学习算法呢？其实很简单，注意我们GD求导每次都耿直地用到了所有的样本点，从1一直到N都参与梯度计算。
$$\begin{array}{rl}\nabla F（\mathbf{w}）& =\sum _{n=1}^N(y_n-\frac{1}{1+e^{-{\mathbf{w}}^T{\mathbf{x}}_n}}){\mathbf{x}}_n\end{array}$$
在SGD中，每次只要均匀地、随机选取其中一个样本 $({\mathbf{x}}_{\mathbf{i}},y_i)$ ,用它代表整体样本，即把它的值乘以N，就相当于获得了梯度的无偏估计值，
即 $E(G(\mathbf{w}))=\nabla F(\mathbf{w})$，因此SGD的更新公式为：$${\mathbf{w}}_{t+1}={\mathbf{w}}_t+\eta N(y_n-\frac{1}{1+e^{-{\mathbf{w}}^T{\mathbf{x}}_n}}){\mathbf{x}}_n$$
这样我们前面的求和就没有了，同时$\eta N$ 都是常数， N 的值刚好可以并入$\eta$ 当中,因此SGD的迭代更新公式为：$${\mathbf{w}}_{t+1}={\mathbf{w}}_t+\eta (y_n-\frac{1}{1+e^{-{\mathbf{w}}^T{\mathbf{x}}_n}}){\mathbf{x}}_n$$
其中 $({\mathbf{x}}_{\mathbf{i}},y_i)$是对所有样本随机抽样的一个结果。

9. 逻辑回归的可解释性

逻辑回归最大的特点就是可解释性很强。
在模型训练完成之后，我们获得了一组n维的权重向量$\mathbf{w}$ 跟偏差 b。
对于权重向量$\mathbf{w}$，它的每一个维度的值，代表了这个维度的特征对于最终分类结果的贡献大小。
假如这个维度是正，说明这个特征对于结果是有正向的贡献，那么它的值越大，说明这个特征对于分类为正起到的作用越重要。
对于偏差b (Bias)，一定程度代表了正负两个类别的判定的容易程度。假如b是0，那么正负类别是均匀的。如果b大于0，说明它更容易被分为正类，反之亦然。
根据逻辑回归里的权重向量在每个特征上面的大小，就能够对于每个特征的重要程度有一个量化的清楚的认识，这就是为什么说逻辑回归模型有着很强的解释性的原因。

10. 总结
    逻辑回归模型：$$y=\frac{1}{1+e^{-{\mathbf{w}}^T\mathbf{x}}}$$
    其中我们不知道的量是 $\mathbf{w}$，
    假设我们已经训练好了一个 ${\mathbf{w}}^{\ast }$, 我们用模型来判断 ${\mathbf{x}}_i$的标签呢？
    很简单，直接将${\mathbf{x}}_i$代入y中，求出来的值就是${\mathbf{x}}_i$的标签是1的概率，如果概率大于0.5，那么我们认为它就是1类，否则就是0类。
    那怎么得到${\mathbf{w}}^{\ast }$呢？
    如果采用随机梯度下降法的话，我们首先随机产生一个$\mathbf{w}$的初始值${\mathbf{w}}_0$ ,然后通过公式不断迭代从而求得${\mathbf{w}}^{\ast }$的值：
    $${\mathbf{w}}_{t+1}={\mathbf{w}}_t+\eta (y_n-\frac{1}{1+e^{-{\mathbf{w}}^T{\mathbf{x}}_n}}){\mathbf{x}}_n$$
    每次迭代都从所有样本中随机抽取一个$({\mathbf{x}}_{\mathbf{i}},y_i)$ 来代入上述方程

原创：https://zhuanlan.zhihu.com/p/44591359