逻辑回归简介

逻辑回归模型(Logistic regression，LR)，又称对数几率模型。由于逻辑回归模型简单，可解释强，易实现，广泛应用于机器学习、深度学习、推荐系统、广告预估、智能营销、金融风控、社会学、生物学、经济学等领域^[1]。

相关知识

伯努利分布

伯努利分布（英语：Bernoulli distribution），又名两点分布或者0-1分布，是一个离散型概率分布，为纪念瑞士科学家雅各布·伯努利而命名^[7]。

逻辑函数

逻辑回归中的逻辑，就是指逻辑函数。至于为什么叫做逻辑函数，其提出者韦吕勒并没有给出明确的解释，后人推断这个词的来源是希腊语λογῐστῐκός（logistikos），意为“算术”或“实用数学”，以与对数曲线（logarithmic）区分^[4]。
逻辑回归的函数如下所示：
$$f(x)=\frac{L}{1+e^{-k(x-x_0)}}\text{\hspace{1em}(1)}$$
其中$x_0$表示函数中点对应的变量值；$L$表示曲线最大值；$k$表示曲线的陡峭程度。当$L=1,k=1,x_0=0$时，就得到标准的sigmoid函数：
$$S(x)=\frac{1}{1+e^{-x}}\text{\hspace{1em}(2)}$$
因为sigmoid函数的输入为整个实数，而输出为[0, 1]之间的实数并且容易求导，所以在表示概率的场合广泛使用。

回归分析

逻辑回归中的回归，是指回归分析。回归分析（英语：Regression Analysis）是一种统计学上分析数据的方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测研究者感兴趣的变量^[6]。

线性回归

在机器学习领域，线性回归模型记为：
$$y=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b=[w_1{w}_2\cdots w_n]\left[\begin{array}{l}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]+b\text{\hspace{1em}(3)}$$
可以简写为：
$$y=\sum _{i=1}^n{w}_i{x}_i+b={\mathrm{w}}^T\mathrm{x}+b\text{\hspace{1em}(4)}$$
其中$y$表示预测函数；$\mathrm{w}$是模型参数；$\mathrm{x}$是输入特征；$b$是偏置量；$n$是特征维度。
为了计算和表达的便捷，常常取$b=w_0$，$x_0=1$，则公式(3)可以重写为：
$$y=w_0+w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n=[w_0{w}_1\cdots w_n]\left[\begin{array}{l}{x}_0\\ x_1\\ ⋮\\ x_n\end{array}\right]\text{\hspace{1em}(5)}$$
则可以进一步简写为：
$$y=\sum _{i=0}^n{w}_i{x}_i={\mathrm{w}}^T\mathrm{x}\text{\hspace{1em}(6)}$$

算法说明

LR假设

逻辑回归需要满足两个假设条件：

1. 数据服从伯努利分布。
2. 样本的概率是sigmoid函数。

LR说明

逻辑回归本质上是分类学习。逻辑回归中的回归是指将输入参数映射为0-1到之间的实数，数据表示如下：
$$y=\frac{1}{1+e^{-{\mathrm{w}}^T\mathrm{x}}}\text{\hspace{1em}(7)}$$
通过比较发现，公式(7)就是公式(2)与公式(6)的结合。
根据使用使用场景不同，$y$的取值可能会有些微的变化。如在点击率（CTR，click through rate）预测中，倾向于 y ∈ { 0 , 1 } y \in \{ 0,1\} y∈{0,1}；在正负样本分类中，倾向于 y ∈ { − 1 , 1 } y \in \{ -1,1\} y∈{−1,1}。不过这两种差异并不会影响逻辑回归训练及预测的推导流程，所以本文参考机器学习课程^[8]仅讨论 y ∈ { 0 , 1 } y \in \{ 0,1\} y∈{0,1}的情况。
假设$y=1$表示正样本，$y=0$表示负样本，则正样本的逻辑回归概率公式为：
$$P(y=1|\mathrm{x};\mathrm{w})=\sigma (x)=\frac{1}{1+e^{-{\mathrm{W}}^T\mathrm{x}}}=\frac{e^{{\mathrm{W}}^T\mathrm{x}}}{1+e^{{\mathrm{W}}^T\mathrm{x}}}\text{\hspace{1em}(8)}$$
负样本的概率公式为：
$$P(y=0|\mathrm{x};\mathrm{w})=1-\sigma (x)=1-\frac{e^{{\mathrm{W}}^T\mathrm{x}}}{1+e^{{\mathrm{W}}^T\mathrm{x}}}=\frac{1}{1+e^{{\mathrm{W}}^T\mathrm{x}}}\text{\hspace{1em}(9)}$$
比较正负样本的概率公式，可以统一为：
$$P(y|\mathrm{x};\mathrm{w})=\sigma (\mathrm{x}{)}^y(1-\sigma (\mathrm{x}){)}^{1-y}\text{\hspace{1em}(10)}$$
因为正负样本的概率和1，所以能够通过正样本的概率来反应逻辑回归的预测结果，对此逻辑回归有如下假设：

1. 如果$P(y=1|\mathrm{x};\mathrm{w})\ge 0.5$，则属于正样本；
2. 如果$P(y=1|\mathrm{x};\mathrm{w})<0.5$，则属于负样本。

对于上述假设，使用交叉熵作为损失函数，其数学表达为：
$$L(\mathrm{w})=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\log \sigma ({\mathrm{x}}^{(i)})+(1-y^{(i)})\log (1-\sigma ({\mathrm{x}}^{(i)}))]\text{\hspace{1em}(11)}$$

训练模型的过程就是不断降低损失函数值得过程，而降低这些损失函数值的方法多种多样，使用梯度下降法进行训练得到模型参数的迭代公式为：
$$\frac{\partial L(\mathrm{w})}{\partial w_j}=-\sum _{i=1}^m(y^{(i)}-\delta ({\mathrm{x}}^{(i)}))x_j^{(i)}\text{\hspace{1em}(12)}$$

关于梯度下降的公式推导可以参考附录梯度下降迭代公式推导。

总结

优缺点

逻辑回归的优缺点是：

1. 模型简单，解释性好。
2. 训练快，资源消耗小，易调整。

缺点是：

1. 准确率不高。
2. 不适合数据不平衡的问题，因为区分度不好。
3. 不适合大规模数据集，因为容易过拟合。

softmax

逻辑回归的使用场所是二分类问题，而softmax则是逻辑回归的泛化，用于处理多分类问题^[12]。
假设有$K$个类别需要进行分类，则softmax规定某个类别的可能性为：
$$\delta (\mathrm{z}{)}_i=\frac{e^{{\mathrm{z}}_i}}{\sum _{j=1}^K{e}^{{\mathrm{z}}_j}}\text{\hspace{1em}(13)}$$
其中$i=1,\dots ,K,\mathrm{z}=(z_1,\dots ,z_K)\in R^K$。从公式(13)也可以看到softmax的两个关键点：1 soft就是指每个类别都会计算一个概率，而不是非0即1；2 max指模型最终指定的类别是概率最大的类别。

附录

梯度下降迭代公式推导 {#addition-1}

待优化的目标函数如下：
$$L(\mathrm{w})=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\log \sigma ({\mathrm{x}}^{(i)})+(1-y^{(i)})\log (1-\sigma ({\mathrm{x}}^{(i)}))]$$

为了简化推导表示，先去掉求和项及上标：
$l(\mathrm{w})=y\log \delta (\mathrm{x})+(1-y)\log (1-\delta (\mathrm{x}))$

对上式进行求导：
$l(\mathrm{w}{)}^{\prime }=(y\log \delta (\mathrm{x}){)}^{\prime }+((1-y)\log (1-\delta (\mathrm{x})){)}^{\prime }$

$l(\mathrm{w}{)}^{\prime }=y\frac{\delta (\mathrm{x}{)}^{\prime }}{\delta (\mathrm{x})}+(1-y)\frac{(1-\delta (\mathrm{x}){)}^{\prime }}{1-\delta (\mathrm{x})}$

现在的关键就是$\delta ({\rm{x}}) $的求导：
$\delta (\mathrm{x})=\frac{1}{1+e^{-{\mathrm{W}}^T\mathrm{x}}}$

因为：
$(\frac{u}{v}{)}^{\prime }=\frac{u^{\prime }v-u{v}^{\prime }}{v^2}$

所以：
$\delta (\mathrm{x}{)}^{\prime }=(\frac{1}{1+e^{-{\mathrm{W}}^T\mathrm{x}}}{)}^{\prime }=\frac{1^{\prime }\times e^{-{\mathrm{W}}^T\mathrm{x}}-1\times (e^{-{\mathrm{W}}^T\mathrm{x}}{)}^{\prime }}{{(1+e^{-{\mathrm{W}}^T\mathrm{x}})}^2}=\frac{0-e^{-{\mathrm{W}}^T\mathrm{x}}(-{\mathrm{W}}^T\mathrm{x}{)}^{\prime }}{{(1+e^{-{\mathrm{W}}^T\mathrm{x}})}^2}=\frac{e^{-{\mathrm{W}}^T\mathrm{x}}({\mathrm{W}}^T\mathrm{x}{)}^{\prime }}{{(1+e^{-{\mathrm{W}}^T\mathrm{x}})}^2}$

$\delta (\mathrm{x}{)}^{\prime }=\frac{1}{1+e^{-{\mathrm{W}}^T\mathrm{x}}}\times \frac{e^{-{\mathrm{W}}^T\mathrm{x}}}{1+e^{-{\mathrm{W}}^T\mathrm{x}}}\times ({\mathrm{W}}^T\mathrm{x}{)}^{\prime }$

因为：
$\frac{e^{-{\mathrm{W}}^T\mathrm{x}}}{1+e^{-{\mathrm{W}}^T\mathrm{x}}}=1-\frac{1}{1+e^{-{\mathrm{W}}^T\mathrm{x}}}$

所以：
$\delta (\mathrm{x}{)}^{\prime }=\frac{1}{1+e^{-{\mathrm{W}}^T\mathrm{x}}}\times (1-\frac{1}{1+e^{-{\mathrm{W}}^T\mathrm{x}}})\times ({\mathrm{W}}^T\mathrm{x}{)}^{\prime }$

$\delta (\mathrm{x}{)}^{\prime }=\delta (\mathrm{x})(1-\delta (\mathrm{x}))({\mathrm{W}}^T\mathrm{x}{)}^{\prime }$

同理：
$(1-\delta (\mathrm{x}){)}^{\prime }=-\delta (\mathrm{x})(1-\delta (\mathrm{x}))({\mathrm{W}}^T\mathrm{x}{)}^{\prime }$

返回$l(\mathrm{w}{)}^{\prime }$的求解过程：
$l(\mathrm{w}{)}^{\prime }=y\frac{\delta (\mathrm{x}{)}^{\prime }}{\delta (\mathrm{x})}+(1-y)\frac{(1-\delta (\mathrm{x}){)}^{\prime }}{1-\delta (\mathrm{x})}=y\frac{\delta (\mathrm{x})(1-\delta (\mathrm{x}))({\mathrm{W}}^T\mathrm{x}{)}^{\prime }}{\delta (\mathrm{x})}+(1-y)\frac{-\delta (\mathrm{x})(1-\delta (\mathrm{x}))({\mathrm{W}}^T\mathrm{x}{)}^{\prime }}{1-\delta (\mathrm{x})}$

$l(\mathrm{w}{)}^{\prime }=y(1-\delta (\mathrm{x}))({\mathrm{W}}^T\mathrm{x}{)}^{\prime }\frac{\delta (\mathrm{x})}{\delta (\mathrm{x})}-(1-y)\delta (\mathrm{x})({\mathrm{W}}^T\mathrm{x}{)}^{\prime }\frac{(1-\delta (\mathrm{x}))}{1-\delta (\mathrm{x})}$

$l(\mathrm{w}{)}^{\prime }=y(1-\delta (\mathrm{x}))({\mathrm{W}}^T\mathrm{x}{)}^{\prime }-(1-y)\delta (\mathrm{x})({\mathrm{W}}^T\mathrm{x}{)}^{\prime }$

$l(\mathrm{w}{)}^{\prime }=y({\mathrm{W}}^T\mathrm{x}{)}^{\prime }-y\delta (\mathrm{x})({\mathrm{W}}^T\mathrm{x}{)}^{\prime }-\delta (\mathrm{x})({\mathrm{W}}^T\mathrm{x}{)}^{\prime }+y\delta (\mathrm{x})({\mathrm{W}}^T\mathrm{x}{)}^{\prime }$

$l(\mathrm{w}{)}^{\prime }=y({\mathrm{W}}^T\mathrm{x}{)}^{\prime }-\delta (\mathrm{x})({\mathrm{W}}^T\mathrm{x}{)}^{\prime }+y\delta (\mathrm{x})({\mathrm{W}}^T\mathrm{x}{)}^{\prime }-y\delta (\mathrm{x})({\mathrm{W}}^T\mathrm{x}{)}^{\prime }$

$l(\mathrm{w}{)}^{\prime }=(y-\delta (\mathrm{x}))({\mathrm{W}}^T\mathrm{x}{)}^{\prime }$

将$l(\mathrm{w}{)}^{\prime }$带入$L(\mathrm{w}{)}^{\prime }$：
$$L(\mathrm{w}{)}^{\prime }=-\sum _{i=1}^m(y-\delta (\mathrm{x}))({\mathrm{W}}^T\mathrm{x}{)}^{\prime }$$

因为：
$z={\mathrm{W}}^T\mathrm{x}=w_0+w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n$

$\frac{\partial z}{\partial w_j}=x_j$

所以：
$$\frac{\partial L(\mathrm{w})}{\partial w_j}=-\sum _{i=1}^m(y-\delta (\mathrm{x}))\frac{\partial z}{\partial w_j}=-\sum _{i=1}^m(y-\delta (\mathrm{x}))x_j$$

最后补全标识某个样本的上标：
$$\frac{\partial L(\mathrm{w})}{\partial w_j}=-\sum _{i=1}^m(y^{(i)}-\delta ({\mathrm{x}}^{(i)}))x_j^{(i)}$$

Reference

[1] 知乎 LR逻辑回归模型的原理、公式推导、Python实现和应用
[2] 知乎 如何理解似然函数?
[3] wiki 似然函数
[4] wiki 逻辑函数
[5] wiki Pierre François Verhulst
[6] wiki 回归分析
[7] wiki 伯努利分布
[8] coursera 机器学习
[9] 未知网站 Gradient Descent: An Introduction to 1 of Machine Learning’s Most Popular Algorithms
[10] 未知网站 Logistic回归-代价函数求导过程 | 内含数学相关基础
[11] 知乎 交叉熵的推导
[12] wiki Softmax function