小瓜讲机器学习——分类算法（一）logistic regression(逻辑回归)算法原理详解

0. 引言

0.1 分类是什么？

“脑袋大脖子粗，不是大官就伙夫”应该是再中华大地上流传最为广泛最为浅显易懂的分类算法。所谓人以类聚，物以群分，后半句话其实就是分类的朴素主义解释和应用。
以下给出分类稍微严谨一点的朴素定义。

分类：按照某种方案将事物分门别类的划拨到不同群体（指定集合），贴上相应的标签的方法。

二分类：如果群体（指定集合）只有两种，我们叫这类问题为二分类问题
多分类：如果群体（指定集合）多于两种，我们叫这类问题为多分类问题。

单独提一个二分类主要是由于在实际应用中二分类占了很大的百分比。

0.2 分类在哪用？

分类的应用场景非常广泛，比如

1. 通过关键词判定是否为垃圾邮件
2. 通过调查买房人的征信记录判定是否放贷
3. 通过打听女神的兴趣爱好追星判定我是否合女神口味
4. 通过计算应力应变来判定结构是否安全
5. 通过动物特征来判断该动物属于哪个门哪个目
6. 以及字体识别等等 等等 等等 等等

0.3 分类算法有哪些？

分类的算法众多，主要有以下几种：

1. 逻辑回归（Logistic Regression）
2. K-近邻法（K-Nearest Neighbor）
3. 支持向量机（Support Vector Machine）
4. 决策树（Decision Tree）
5. 神经网络（Natural Network）
6. 朴素贝叶斯（Naive Bayes）
7. 等等

本节主要介绍逻辑回归分类的算法原理。

1. logistic回归算法原理

逻辑回归虽然名字挂着回归，但的确是一种分类算法，而且是只能解决二分类问题中线性可分的那部分问题。我们看下面的几个例子：



显然图1.1~图1.3都是属于二分类的问题，所有的样本点要么是归为⚪点，要么归为十字点，只有两种分类结果，两种标签可以贴（⚪点也许表示是垃圾邮件，十字点表示不是垃圾邮件）。
但是图1.1与图1.2、1.3有着显著的区别，图1.1可以被超平面（注①） $\sum {\omega }_i{X}_i+b=0$所分割，所以把图1.1叫做线性可分，而图1.2、1.3不能，图1.2、1.3的叫做非线性可分。

Logistic Regression—逻辑回归法主要就是解决类似图1.1的线性可分的二分类问题。

1.1 逻辑回归模型推导

我们先引入一个二分类问题：
小明在YY中学上高一（3）班上学，对于每一位走读学生，设他的迟到概率为 P i { Z = 迟 到 } P_i\{Z=迟到\} Pi​{Z=迟到}，那么$P_i$肯定与学生离学校距离$L_i$和每天出门时间$T_i$有关。
那么小明迟到发生比（优势比）
o d d s = P i { Z = 迟 到 } P i { Z = 不 迟 到 } = P i { Z = 迟 到 } 1 − P i { Z = 迟 到 } odds = \frac{P_i\{Z=迟到\}}{P_i\{Z=不迟到\}}=\frac{P_i\{Z=迟到\}}{1-P_i\{Z=迟到\}} odds=Pi​{Z=不迟到}Pi​{Z=迟到}​=1−Pi​{Z=迟到}Pi​{Z=迟到}​
我们观察$odds$随 P i { Z = 迟 到 } P_i\{Z=迟到\} Pi​{Z=迟到}的变化趋势如下图

显然随着$P_i$的增加，$odds$增加的越快，那么我们不难联想$odds$可以用指数函数拟合，即有
$$odds=e^{g(P_i)}=e^{f(L_i,T_i)}$$
转变形式，可得以下拟合方案：
$$ln(odds)=f(L_i,T_i)$$
那么如果$f(L_i,T_i)$采用一次多项式拟合，其实上式就和一般的线性回归方程一样。
$$ln(\widehat{odds})=\alpha +{\beta }_i{L}_i+{\gamma }_i{T}_i=\alpha +\sum {\omega }_i{X}_i$$
值得注意的点是$\widehat{odds}$是$odds$的拟合值。拟合值可以推出$\widehat{P_i}$的表达式如下
$$\frac{\widehat{P_i}}{1-\widehat{P_i}}=e^{(\alpha +\sum {\omega }_i{X}_i)}$$
$$\frac{1}{\widehat{P_i}}-1=e^{-(\alpha +\sum {\omega }_i{X}_i)}$$
$$\widehat{P_i}=\frac{1}{1+e^{-(\alpha +\sum {\omega }_i{X}_i)}}$$
值得注意的是$\widehat{P_i}$是$P_i$的拟合值（近似值）。

1.2 逻辑回归模型的意义

我们以图1.1为例，在其中添加超平面$\Omega$作为分界面

图中假设十字点为事件发生，z=1，⚪点为事件不发生，z=0，超平面$\Omega :\alpha +\sum {\omega }_i{X}_i=0$, 那么对于已知的事件集 A = { 十 字 点 ， ⚪ 点 } A=\{十字点，⚪点\} A={十字点，⚪点}里面的元素，有事件发生的概率函数:
$$f(z)=\{\begin{array}{l}1,元素在超平面\Omega 上方时\\ 0,元素在超平面\Omega 另一边时\end{array}$$


逻辑回归模型其实可以理解为（等效于）用$\hat{f}(z)=\frac{1}{1+e^{-(\alpha +\sum {\omega }_i{X}_i)}}$来拟合$f(z)$。
注意到对于一个样本点$(X_i^{(j)},Z^{(j)})$来说，当$g(X_i)=\alpha +\sum {\omega }_i{X}_i>0$时，表示样本点在十字点那侧，当$g(X_i)=\alpha +\sum {\omega }_i{X}_i<0$时，表示样本点在⚪点那侧。

1.2 损失函数（评价函数）怎么定义？

还以小明班级上学迟到为例，假设小明同学——高一（3）班的所有学生都是各自上学的，所以学生迟到的概率$P_i$都是独立的，假设Z=1是迟到的等价概念，那么对于某一学生，有
迟到的概率： P i { Z = 1 } = p i P_i\{Z=1\} = p_i Pi​{Z=1}=pi​
不迟到的概率： P i { Z = 0 } = 1 − P i { Z = 1 } = 1 − p i P_i\{Z=0\}=1-P_i\{Z=1\} = 1-p_i Pi​{Z=0}=1−Pi​{Z=1}=1−pi​
其实Z就是概率统计中的伯努利随机变量，那么其频率函数可以写成以下形式：
$$p(Z)=\{\begin{array}{l}{p}_i^Z(1-p_i{)}^{1-Z},Z=0orZ=1\\ 0\end{array}$$
将$p_i$的拟合值（$\widehat{P_i}=\frac{1}{1+e^{-(\alpha +\sum {\omega }_i{X}_i)}}$）代入可得
$${\hat{p}}_i(Z；\alpha ,{\omega }_i)={\frac{1}{1+e^{-(\alpha +\sum {\omega }_i{X}_i)}}}^Z(1-\frac{1}{1+e^{-(\alpha +\sum {\omega }_i{X}_i)}}{)}^{1-Z}$$
值得注意的是${\hat{p}}_i(Z；\alpha ,{\omega }_i)$是$p_i(Z)$的拟合值（近似值），它的变量为$(Z；\alpha ,{\omega }_i)$。

当知道其中m个学生迟到与否，即有m个样本 { ( X 1 ( 1 ) , X 2 ( 1 ) , Z ( 1 ) ) , . . . , ( X 1 ( m ) , X 2 ( m ) , Z ( m ) ) } \{(X_1^{(1)},X_2^{(1)},Z^{(1)}),...,(X_1^{(m)},X_2^{(m)},Z^{(m)})\} {(X1(1)​,X2(1)​,Z(1)),...,(X1(m)​,X2(m)​,Z(m))}
我们可以用最大似然估计方法（maximum likelihood estimate method）估计出一组参数$(\alpha ,{\omega }_i)$。

最大似然估计方法

对于每一个同学迟到与否是独立的，并且频率分布为${\hat{p}}_i(Z^{(i)}；\alpha ,{\omega }_i)$，那么m个同学迟到与否的联合频率分布为$$L(Z；\alpha ,{\omega }_i)=\prod _{i=0}^m{\hat{p}}_i(Z^{(i)}；\alpha ,{\omega }_i)$$
对于m个样本代入的情况下，$L(Z；\alpha ,{\omega }_i)$是参数$(\alpha ,{\omega }_i)$的函数，当一组参数$(\alpha ,{\omega }_i)$使得$L(Z；\alpha ,{\omega }_i)$取最大值，这一组参数$(\alpha ,{\omega }_i)$就是估计的参数。即：
$$(\alpha ,{\omega }_i)\to \underset{(\alpha ,{\omega }_i)}{\max }[L(Z；\alpha ,{\omega }_i)]$$
（意思就是对于m个样本点，其观测结果（取样结果）为 $\Gamma$，我们通过变化参数$(\alpha ,{\omega }_i)$使得在相应的m个样本点上最大可能性出现观测结果 $\Gamma$，这组$(\alpha ,{\omega }_i)$就是通过最大似然估计得到的参数）

观察到上面的公式过于复杂，我们可以通过变换将其简化如下，我们称之为逻辑回归法的损失函数（评价函数）。
$$(\alpha ,{\omega }_i)\to \underset{(\alpha ,{\omega }_i)}{\min }[-\ln L(Z；\alpha ,{\omega }_i)]$$
− ln ⁡ L ( Z ； α , ω i ) = − ln ⁡ { ∏ i = 1 m p ^ i ( Z ( i ) ； α , ω i ) } = − ∑ i = 1 m ln ⁡ p ^ i ( Z ( i ) ； α , ω i ) = − ∑ i = 1 m ln ⁡ 1 1 + e − ( α + ∑ ω j X j ( i ) ) Z ( i ) ( 1 − 1 1 + e − ( α + ∑ ω j X j ( i ) ) ) 1 − Z ( i ) = − ∑ i = 1 m { Z ( i ) ln ⁡ [ 1 1 + e − ( α + ∑ ω j X j ( i ) ) ] + ( 1 − Z ( i ) ) ln ⁡ [ 1 − 1 1 + e − ( α + ∑ ω j X j ( i ) ) ] } \begin {aligned} -\ln L(Z；\alpha,\omega_i) &amp; = -\ln\{ \prod_{i=1}^m\hat p_i(Z^{(i)}；\alpha,\omega_i)\}\\ &amp;=-\sum_{i=1}^{m}\ln\hat p_i(Z^{(i)}；\alpha,\omega_i)\\ &amp;=-\sum_{i=1}^{m}\ln\frac {1}{1+e^{-(\alpha+\sum{\omega_jX_j^{(i)}})}}^{Z^{(i)}}(1-\frac {1}{1+e^{-(\alpha+\sum{\omega_jX_j^{(i)}})}})^{1-Z^{(i)}}\\ &amp;=-\sum_{i=1}^m\{Z^{(i)}\ln[\frac{1}{1+e^{-(\alpha+\sum\omega_jX_j^{(i)})}}]+(1-Z^{(i)})\ln[1-\frac{1}{1+e^{-(\alpha+\sum\omega_jX_j^{(i)})}}]\} \end{aligned} −lnL(Z；α,ωi​)​=−ln{i=1∏m​p^​i​(Z(i)；α,ωi​)}=−i=1∑m​lnp^​i​(Z(i)；α,ωi​)=−i=1∑m​ln1+e−(α+∑ωj​Xj(i)​)1​Z(i)(1−1+e−(α+∑ωj​Xj(i)​)1​)1−Z(i)=−i=1∑m​{Z(i)ln[1+e−(α+∑ωj​Xj(i)​)1​]+(1−Z(i))ln[1−1+e−(α+∑ωj​Xj(i)​)1​]}​
记$$h(\omega {)}^{(i)}=\frac{1}{1+e^{-(\alpha +\sum {\omega }_j{X}_j^{(i)})}}$$
那么上式为：
− ln ⁡ L ( Z ； α , ω i ) = − ∑ i = 1 m { Z ( i ) ln ⁡ [ h ( ω ) ( i ) ] − ( 1 − Z ( i ) ) ln ⁡ [ 1 − h ( ω ) ( i ) ] } -\ln L(Z；\alpha,\omega_i) =-\sum_{i=1}^m\{Z^{(i)}\ln[h(\omega)^{(i)}]-(1-Z^{(i)})\ln[1-h(\omega)^{(i)}]\} −lnL(Z；α,ωi​)=−i=1∑m​{Z(i)ln[h(ω)(i)]−(1−Z(i))ln[1−h(ω)(i)]}
这样就等于把问题转换为损失函数的极值问题（典型的无约束优化问题）。

1.3 极值问题怎么求解？

逻辑回归分类法最终要求解的损失函数的极值问题（无约束优化问题）。
$$(\alpha ,{\omega }_i)\to \underset{(\alpha ,{\omega }_i)}{\min }[f(\alpha ,{\omega }_i)]$$
求解极值问题的方法有很多种，梯度下降法是最常用且简洁的算法。他的内涵思想就是从起始点$(\alpha ,{\omega }_i{)}_{t|0}$开始沿着$f(\alpha ,{\omega }_i)$值减小的方法搜索$(\alpha ,{\omega }_i{)}_{t|j}$，直到满足精度要求或者迭代步数要求。

正梯度是$f(\alpha ,{\omega }_i)$增加的方向，负梯度是$f(\alpha ,{\omega }_i)$减小方向。所以叫梯度下降法，具体算法流程如下：

1. 选定初始值$(\alpha ,{\omega }_i{)}_{t|0}$
2. 选择迭代步长$\eta$，精度${\delta }_0$以及迭代次数限$T_0$
3. 重复以下计算过程
   ① 计算负梯度：$d_{t|j}=-\frac{\partial }{\partial (\alpha ,{\omega }_i)}f(\alpha ,{\omega }_i{)}_{t|j}$
   ② 更新参数：$(\alpha ,{\omega }_i{)}_{t|j+1}=(\alpha ,{\omega }_i{)}_{t|j}+d_{t|j}\times \eta$
   ③ 检验是否满足迭代要求：$(1)\delta =|d_{t|j}\times \eta |<{\delta }_0或(2)t|j>T_0$
4. 满足迭代要求即终止计算，输出最终$(\alpha ,{\omega }_i{)}_{t|final}$

1.4 逻辑回归算法

将极值问题的求解步骤具体应用与逻辑回归算法中，并将$(\alpha ,{\omega }_i),i=1,...,l$合并成$W=({\omega }_0,{\omega }_1,...,{\omega }_l)$相应将特征向量扩展的$X=(1,x_1,...,x_l)$。
$$\begin{array}{rl}{d}_i& =-\frac{\partial }{\partial {\omega }_i}f({\omega }_i)\\ & =-\frac{\partial (-\ln L(Z；{\omega }_i))}{\partial {\omega }_i}\\ & =\sum _{k=1}^m[Z^{(k)}\frac{1}{h(\omega {)}^{(k)}}\bullet \frac{\partial h(\omega {)}^{(k)}}{\partial {\omega }_i}+(1-Z^{(k)})\frac{1}{1-h(\omega {)}^{(k)}}\bullet \frac{\partial (1-h(\omega {)}^{(k)})}{\partial {\omega }_i}]\\ & =\sum _{k=1}^m[Z^{(k)}(1+e^{-\sum {\omega }_i{X}_i^{(k)}})\bullet \frac{-X_i^{(k)}{e}^{-\sum {\omega }_i{X}_i^{(k)}}}{(1+e^{-\sum {\omega }_i{X}_i^{(k)}}{)}^2}\\ & +(1-Z^{(k)})\frac{1+e^{-\sum {\omega }_i{X}_i^{(k)}}}{e^{-\sum {\omega }_i{X}_i^{(k)}}}]\bullet (-\frac{-X_i^{(k)}{e}^{-\sum {\omega }_i{X}_i^{(k)}}}{(1+e^{-\sum {\omega }_i{X}_i^{(k)}}{)}^2})\\ & =\sum _{k=1}^m[Z^{(k)}\frac{-X_i^{(k)}{e}^{-\sum {\omega }_i{X}_i^{(k)}}}{(1+e^{-\sum {\omega }_i{X}_i^{(k)}})}+(1-Z^{(k)})\frac{X_i^{(k)}}{1+e^{-\sum {\omega }_i{X}_i^{(k)}}}]\\ & =\sum _{k=1}^m{Z}^{(k)}{X}_i^{(k)}\frac{-e^{-\sum {\omega }_i{X}_i^{(k)}}-1}{1+e^{-\sum {\omega }_i{X}_i^{(k)}}}+X_i^{(k)}\frac{1}{1+e^{-\sum {\omega }_i{X}_i^{(k)}}}\\ & =\sum _{k=1}^m{X}_i^{(k)}(h(\omega {)}^{(k)}-Z^{(k)})\end{array}$$
所以逻辑回归算法流程如下：
1.将特征向量扩展成$X=(1,x_1,...,x_l)$；
2.选定初始值$({\omega }_0,{\omega }_1,...,{\omega }_l{)}_{t=0}$；
3.选择迭代步长$\eta$，精度${\delta }_0$以及迭代次数限$T_0$
4.重复以下计算过程：
　　① 计算负梯度：$d_{i|t=j}={\sum }_{k=1}^m{X}_i^{(k)}(h(\omega {)}^{(k)}-Z^{(k)}),j=0,1,...,(T_0-1)$
　　② 更新各个参数：${\omega }_{i|t=j+1}={\omega }_{i|t=j}+d_{i|t=j}\times \eta$
　　③ 检验是否满足迭代要求：$(1)\delta =|d_{i|t=j}\times \eta |<{\delta }_0或(2)t=j>T_0$
5.满足迭代要求即终止计算，输出最终${\omega }_{i|t=final}$

---

参考文献：

[1]. 机器学习[M]. 周志华.
[2]. logistic回归：从生产到使用
[3]. 逻辑回归二分类总结(不断迭代，直到彻底掌握)
[4]. Python机器学习算法[M].赵志勇.

文章导引列表：
机器学习

1. 小瓜讲机器学习——分类算法（一）logistic regression(逻辑回归)算法原理详解
2. 小瓜讲机器学习——分类算法（二）支持向量机（SVM）算法原理详解
3. 小瓜讲机器学习——分类算法（三）朴素贝叶斯法（naive Bayes）
4. 待续

---

数据分析

1. 小呆学数据分析——使用pandas中的merge函数进行数据集合并
2. 小呆学数据分析——使用pandas中的concat函数进行数据集堆叠
3. 小呆学数据分析——pandas中的层次化索引
4. 小呆学数据分析——使用pandas的pivot进行数据重塑
5. 小呆学数据分析——用duplicated/drop_duplicates方法进行重复项处理
6. 小呆学数据分析——缺失值处理（一）
7. 小呆学数据分析——异常值判定与处理（一）
8. 小瓜讲数据分析——数据清洗

---

数据可视化

1. 小瓜讲数据分析——数据可视化工程（matplotlib库使用基础篇）
2. 小瓜讲matplotlib高级篇——坐标轴设置（坐标轴居中、坐标轴箭头、刻度设置、标识设置）