统计学习方法——逻辑斯蒂回归模型

1. 写在前面

本文主要针对一个简单的机器学习算法逻辑斯蒂回归模型进行相关的讲解。主要内容包括：逻辑斯蒂回归模型定义及来源、二项逻辑斯蒂回归模型形式与推导、二项逻辑斯蒂回归模型的参数估计与多项逻辑斯蒂回归模型推广。

2. 逻辑斯蒂回归模型定义及来源

逻辑斯蒂回归模型主要是来源于逻辑斯蒂分布与逻辑斯蒂函数。当然，如果换一个名字，你对它应当相当熟悉，那就是sigmoid函数。它的形式如下：
$$f(x)=\frac{1}{1+e^{-x}}$$
而逻辑斯蒂回归模型的另一个则来源于线性回归：
$$g(x)=w_0{x}_0+w_1{x}_1+\cdot \cdot \cdot +w_n{x}_n=w^{T}x$$
把两者组合起来，就形成了大名鼎鼎的十大数据挖掘算法（LR）：
$$f(x)=\frac{1}{1+e^{-g(x)}}=\frac{1}{1+e^{-w^{T}x}}=\frac{e^{w^{T}x}}{1+e^{w^{T}x}}$$

那么这个$f(x)$值获得的是什么呢？是正例的概率值，它是一个0到1之间的数。

3. 二项逻辑斯蒂回归模型形式与推导

二项回归模型形式表示如下；
$$p(y=1|x)=\frac{e^{w^{T}x}}{1+e^{w^{T}x}}=\pi (x)$$
$$p(y=0|x)=1-p(y=1|x)=\frac{1}{1+e^{w^{T}x}}$$
在第二节中，我们讲，这个来源于我们的sigmoid函数。而具体的，其实主要来源于一个逻辑斯蒂回归模型。它牵扯到这样一个名词——几率。

严格上讲，几率和概率是不一样的。他们之间的关系是：一个时间的几率是指该事件发生的概率与改时间不发生的概率的壁纸。该事件的对数几率就为：
$$logit(p)=log(\frac{p}{1-p})$$
因此就得到了这样一个式子：
$$log(\frac{P(y=1|x)}{1-P(y=1|x)})=w^{T}x$$
这个式子就是说，输出y=1的对数几率是输入x的线性函数。这点为后面的化简做准备。

3.1 逻辑斯蒂回归一般形式

一般的，认为正例y值为1，负例y值为0，则可以得到其似然函数为：
$$\prod _{i=0}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$
对数似然函数为:
$$L(w)=\sum _{i=1}^N[y_{i}log\pi (x_i)+(1-y_i)log(1-\pi (x_i))]$$
$$=\sum _{i=1}^N[y_{i}log\frac{\pi (x_i)}{1-\pi (x_i)}+log(1-\pi (x_i))]$$
$$=\sum _{i=1}^N[y_i(w\cdot x_i)-log(1+exp(w\cdot x_i))]$$
对L(w)求极大值，就能得到w的估计值。

一般的使用拟牛顿法或者梯度下降法求解最佳参数。这里使用梯度下降法求解。
$$w^{new}=w^{old}+L^{\prime }(w)\delta$$
其中$\delta$为设定的学习率，也就是步长，$L^{\prime }(w)$可以求解过程如下：
$$L^{\prime }(w)=\sum _{n=1}^N{x}_i(y_i-\pi (x_i))$$

3.2 逻辑斯蒂回归另一种形式

如果令正例y值为1，负例y值为-1，则可以得到另一种逻辑斯蒂回归形式。这种形式是非常美妙的，如果我们进行一次转换就能看出一点端倪：

$$P(y=1|X)=\frac{e^{w^{T}x}}{1+e^{w^{T}x}}=\frac{1}{1+e^{-w^{T}x}}$$
$$P(y=-1|X)=\frac{1}{1+e^{w^{T}x}}$$
可以看出这样一个规律:
$$h(X)=\frac{1}{1+e^{y{w}^{T}x}}$$

另外一方面，我们看到sigmoid函数有一个特性：
$$sigmoid(-x)=1-sigmoid(x)$$
因此我们可以得到极大似然估计为(假设X1为正例，X2为负例)：
$$argmaxH=P(x_1)h(x_1)P(x_2)[1-h(x_2)]...$$
$$argmaxH=P(x_1)h(y_1{x}_1)P(x_2)h(y_2{x}_2)...$$
取对数后，等价于：
$$E=argmin\frac{1}{N}\sum _{n=1}^N-In(\frac{1}{1+e^{-y_n{W}^T{x}_n}})$$
$$E=argmin\frac{1}{N}\sum _{n=1}^{N}In(1+e^{-y_n{W}^T{x}_n})$$
我们需要求导为0，才能为极值，因此需要调整参数W，调整方法如下：
$$W_{t+1}=W_t-\eta \nabla E$$
其中$\eta$为学习速率，
$$\nabla E=\frac{\partial E}{\partial W}(w_t)=\frac{1}{N}\sum _{n=1}^N\frac{-y_n{X}_n}{1+e^{y_n{W}_t^T{X}_n}}$$

3.4 进行预测

在进行预测时，最终会获得一个值，这个值表示的是正例的概率，一般的，我们会设计一个阈值，当大于阈值时，我们认为是正例，低于阈值时，我们认为是负例。至于阈值的多少与问题有关，如果要求正例的置信度要高，那么阈值可以高一些。

4. 二项逻辑斯蒂回归模型的参数估计与多项逻辑斯蒂回归模型推广

4.1 二项逻辑斯蒂回归模型的参数估计

二阶逻辑斯蒂回归模型的参数估计这里使用的是极大似然估计。极大似然估计其实就是把所有可能性相乘得到的似然函数求导。
似然函数大部分情况都是这样：
如果设：
$$p(Y=1|x)=\pi (x),p(Y=0|x)=1-\pi (x)$$
则：
$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$
对数似然函书即为：
$$L(w)=\sum _{i=1}^N[y_{i}log\pi (x_i)+(1-y_i)log(1-\pi (x_i))]$$
$$=\sum _{i=1}^N[y_{i}log\frac{\pi (x_i)}{1-\pi (x_i)}+log(1-\pi (x_i))]$$
$$=\sum _{i=1}^N[y_i(w\cdot x_i)-log(1+e^{w\cdot x_i})]$$

然后求这个L(w)的极大值即可，就得到了w的估计值。一般使用梯度下降法或者拟牛顿法解决。
以牛顿法为例，其第t+1轮迭代解的更新公式为：
$$w^{t+1}=w^t-(\frac{{\partial }^{2}L(w)}{\partial w\partial w^T}{)}^{-1}\frac{\partial L(w)}{\partial w}$$
其中，一阶导数和二阶导数分别为：
$$\frac{\partial L(w)}{\partial w}=-\sum _{i=1}^m{\hat{x}}_i(y_i-p_1({\hat{x}}_i;w))$$
$$\frac{{\partial }^{2}L(w)}{\partial w\partial w^T}=\sum _{i=1}^m{\hat{x}}_i{\hat{x}}_i^T{p}_1({\hat{x}}_i;w)(1-p_1({\hat{x}}_i;w))$$

值得注意的是，这里的二阶导数中拥有${\hat{x}}_i{\hat{x}}_i^T$，这就是能做分布式的关键。，矩阵乘法的分布式运算方法使用上即可。

4.2 多项逻辑斯蒂回归模型推广

多项逻辑斯蒂回归模型与二项逻辑斯蒂回归模型样子长的挺像的，也就是选取其中一个可能性的分子为1，剩下的可能性为$e^{w_k\cdot x}$即可：
$$P(Y=k|x)=\frac{e^{w_k\cdot x}}{1+\sum _{k=1}^{K-1}{e}^{w_k\cdot x}}，k=1,2,\cdot \cdot \cdot ,K-1$$
$$P(Y=K|x)=\frac{1}{1+\sum _{k=1}^{K-1}{e}^{w_k\cdot x}}$$