机器学习之逻辑回归(手推公式版)

前言

  逻辑回归$(Logistic$ $Regression)$虽冠有“回归”之名，却并不是真正意义上的回归，它其实是统计学中经典的分类方法，主要解决的是二分类问题。

  对于逻辑回归，书上说法不一，李航老师的《统计学习方法》将逻辑回归称为逻辑斯谛回归，周志华老师的西瓜书中将逻辑回归称为对数几率回归，简称对率回归，英文名亦称为Logit Regression。

1. Sigmoid函数

  在线性回归这篇博客中我们介绍到线性回归模型$z={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$产生的预测值是一个实数值，对应的是连续型的变量，比如公司的股价、产品的销量等等。对于二分类问题，它的预测值是一个离散的变量，要么是0，要么是1，不会再由其他值。那么如何将线性回归模型的值变成离散的呢？这里就引入了一个连接函数$(link$ $function)$-------$Sigmoid$函数。
  $Sigmoid$函数是形似$S$的函数，也称为$Logistic$函数，表达式如下：$$y=\frac{1}{1+e^{-z}}$$  根据下面的$Sigmoid$函数函数图像，我们可以看出，该函数的输入值为$-\infty$到$+\infty$，输出值为$(0,1)$。这样对于任意$z={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$，通过$Sigmoid$函数，我们都能得到0到1之间的概率值，也就实现了分类。

  更为准确的说，$Logistic$函数是$Sigmoid$函数最重要的代表。

  下面给出一些$Sigmoid$函数的相关性质及其证明：

  纠正一下：把性质3里面的倒数符号 $\mathrm{d}$ 改成偏倒数符号 $\partial$

  权值向量和输入向量依旧记作$\mathbf{w},\mathbf{x}$，这时，逻辑回归模型就是下面这样：$$\begin{gathered} P(y=1|x)=\frac{e^{{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b}}{1+e^{{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b}} \\ P(y=0|x)=\frac{1}{1+e^{{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b}} \end{gathered}$$  对于给定的输入实例$x$，按照上述模型可以求得$P(y=1|x)$和$P(y=0|x)$，通过比较两个条件概率值的大小，将实例$x$分到概率值较大的那一类。
  一个事件的几率$(odds)$是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是$p$，那么该事件的几率是$\frac{p}{1-p}$，该事件的对数几率$(logodds)$或$logit$函数是$$logit(p)=\ln \frac{p}{1-p}$$  对逻辑回归而言，上式又可以写成如下形式：$$\ln \frac{P(y=1|x)}{1-P(y=1|x)}={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$  也就是说，在逻辑回归模型中，输出$y=1$的对数几率是输入$x$的线性函数，或者说，输出$y=1$的对数几率是由输入$x$的线性函数表示的模型，即逻辑回归模型。

  对几率取对数，即对数几率。

2. 模型参数估计

  根据上述可知，在逻辑回归模型中，需要求解的参数是$\mathbf{w}$和$b$，我们可以通过极大似然估计法来估计模型参数。
  对于给定的数据集 T = { ( x 1 , y 1 ) , ( x 1 , y 1 ) ， … , ( x N , y N ) } T=\{(x_1,y_1),(x_1,y_1)，\dots,(x_N,y_N)\} T={(x1​,y1​),(x1​,y1​)，…,(xN​,yN​)}，其中， x i ∈ R , y i ∈ { 0 , 1 } x_i \in \mathbb {R},y_i \in \{0,1\} xi​∈R,yi​∈{0,1}，设$$\begin{gathered} P(y=1|x)=p(x) \\ P(y=0|x)=1-p(x) \end{gathered}$$，则似然函数为：
$$L(\mathbf{w})=\prod _{i=1}^N[p(x_i){]}^{y_i}[1-p(x_i){]}^{1-y_i}$$  $L(\mathbf{w})$是乘积形式，可将似然函数先取对数，转为对数似然函数：

  这样，问题就变成了以$E(\mathbf{w})$为目标函数的最优化问题，似然函数$L(\mathbf{w})$最大化转换成了损失函数$E(\mathbf{w})$的最小化，然后就可以利用梯度下降法或牛顿法来求其最优解了。此时的$E(\mathbf{w})$称为交叉熵$(cross-entropy)$损失函数，没错，交叉熵损失函数其实就是对似然函数先取对数再取相反数得到的。

3. 模型参数求解

  先求出损失函数$E(\mathbf{w})$对$\mathbf{w}$一阶偏导数和二阶偏导数：

3.1 梯度下降法求解

  梯度下降法要求目标函数$E(\mathbf{w})$是一个具有一阶连续偏导数的函数，大致求解过程为：先取适当的初值${\mathbf{w}}^{(0)}$，不断迭代，更新$\mathbf{w}$的值，进行目标函数的极小化，直到收敛。由于负梯度方向是使函数值下降最快的方向，在迭代的每一步，以负梯度方向更新$\mathbf{w}$的值，从而达到减少函数值的目的。
  设${\mathbf{g}}_k$为$E(\mathbf{w})$在${\mathbf{w}}^{(k)}$的梯度，$${\mathbf{g}}_k=\frac{\partial E(\mathbf{w})}{\partial \mathbf{w}}$$  则第$k+1$次迭代值${\mathbf{w}}^{k+1}$为：$${\mathbf{w}}^{k+1}={\mathbf{w}}^k+\lambda (-{\mathbf{g}}_k)$$  当$||{\mathbf{g}}_k||<ϵ$时，迭代结束，得到近似解${\mathbf{w}}^{\ast }={\mathbf{w}}^k$。
  当$||E({\mathbf{w}}^{k+1})-E({\mathbf{w}}^k)||<ϵ$或$||{\mathbf{w}}^{k+1}-{\mathbf{w}}^k||<ϵ$时，迭代结束,得到近似解${\mathbf{w}}^{\ast }={\mathbf{w}}^{k+1}$。

3.2 牛顿法求解

  牛顿法要求目标函数$E(\mathbf{w})$是一个具有二阶连续偏导数的函数，求解过程和梯度下降法差不多，这里面引入了一个矩阵$H$，称为黑塞矩阵$(Hessian$ $matrix)$。
  设${\mathbf{g}}_k$为$E(\mathbf{w})$在${\mathbf{w}}^{(k)}$的梯度，$${\mathbf{g}}_k=\frac{\partial E(\mathbf{w})}{\partial \mathbf{w}}$$  $H_k$为为$E(\mathbf{w})$在${\mathbf{w}}^{(k)}$的黑塞矩阵，$$H_k=\frac{{\partial }^{2}E(\mathbf{w})}{\partial \mathbf{w}\partial {\mathbf{w}}^T}$$  则第$k+1$次迭代值${\mathbf{w}}^{k+1}$为：$${\mathbf{w}}^{k+1}={\mathbf{w}}^k-H_k^{-1}{\mathbf{g}}_k$$  当$||{\mathbf{g}}_k||<ϵ$时，迭代结束，得到近似解${\mathbf{w}}^{\ast }={\mathbf{w}}^k$。
  当$||E({\mathbf{w}}^{k+1})-E({\mathbf{w}}^k)||<ϵ$或$||{\mathbf{w}}^{k+1}-{\mathbf{w}}^k||<ϵ$时，迭代结束,得到近似解${\mathbf{w}}^{\ast }={\mathbf{w}}^{k+1}$。

4. 正则化

  正则化是用来防止模型过拟合的一种策略，在损失函数的基础之上加上一个正则化项$(regularizer)$或惩罚项$(penalty$ $term)$，损失函数改变，基于损失函数的最优化来求解的参数取值必然改变，以此来调节模型拟合的程度。
  常用的有$L1$正则化和$L2$正则化两种选项，其中，$L1$范数表现为参数向量中的每个参数的绝对值之和，$L2$范数表现为参数向量中的每个参数的平方和然后再求平方根。
  即$$\begin{gathered} ||\mathbf{w}|{|}_1=|w_1|+|w_2|+\cdots +|w_N| \\ ||\mathbf{w}|{|}_2=\sqrt{|w_1{|}^2+|w_2{|}^2+\cdots +|w_N{|}^2} \end{gathered}$$$$\begin{gathered} E(\mathbf{w}{)}_{L1}=E(\mathbf{w})+\lambda ||\mathbf{w}|{|}_1 \\ E(\mathbf{w}{)}_{L2}=E(\mathbf{w})+\frac{\lambda }{2}||\mathbf{w}|{|}_2^2 \end{gathered}$$  上述这种形式在书中很常见，通过控制正则项来调整损失函数。
$$\begin{gathered} E(\mathbf{w}{)}_{L1}=C\ast E(\mathbf{w})+\lambda ||\mathbf{w}|{|}_1 \\ E(\mathbf{w}{)}_{L2}=C\ast E(\mathbf{w})+\frac{\lambda }{2}||\mathbf{w}|{|}_2^2 \end{gathered}$$  上述这种形式是$sklearn$正则化形式，通过控制损失函数前的系数$C$直接调整损失函数。

  可能有些小伙伴们会有个疑问：为啥上述的正则化中$L_2$范式要带个平方？这是因为啊$L_2$范式是先求平方和再开根号，带个平方是为了省去开根号的操作，简化运算，哈哈哈哈。

5. 模型实现

  这里使用sklearn.linear_model里的LogisticRegression进行逻辑回归建模来解决分类问题，数据集为sklearn自带的乳腺癌数据集breast_cancer，数据集详情大致如下：

  该数据集有30个特征，2个类别，详情可打印irisdata.DESCR

	from sklearn.linear_model import LogisticRegression
	from sklearn.datasets import load_breast_cancer
	from sklearn.model_selection import train_test_split
	from sklearn.metrics import accuracy_score
	import numpy as np
	import matplotlib.pyplot as plt
	
	
	breast = load_breast_cancer()
	
	# penalty: 正则化选项, 默认L2
	# C: 控制系数, 默认1.0
	# solver: 求解最优模型参数的方法, 默认liblinear, 用于小数据集或简单二分类
	# 大数据集可以选择SAG或SAGA
	# max_iter: 最大迭代次数
	model1 = LogisticRegression(penalty='l1', C=0.5, solver='liblinear', max_iter=1000)
	model2 = LogisticRegression(penalty='l2', C=0.5, solver='liblinear', max_iter=1000)
	model1.fit(breast.data, breast.target)
	model2.fit(breast.data, breast.target)
	
	print('model1: ', model1.coef_)
	print('model2: ', model2.coef_)

  由上也可以看出，$L1$正则化越强，参数向量中就含有越多为0的参数，参数就越稀疏，选出来的特征就越少，以此来防止过拟合。相对的，$L2$正则化在加强的过程中，会尽量让每个特征对模型都有一些小的贡献，但携带信息少，对模型贡献不大的特征的参数会非常接近于0。
  下面对比一下系数$C$对$L1$正则化和$L2$正则化的影响：

	x_train, x_test, y_train, y_test = train_test_split(breast.data, breast.target,test_size=0.3,random_state=128)
	
	l1 = []
	l2 = []
	l1_test = []
	l2_test = []
	
	for i in np.linspace(0.05, 1.0, 20):
	    model1 = LogisticRegression(penalty='l1', C=i, solver='liblinear', max_iter=1000)
	    model2 = LogisticRegression(penalty='l2', C=i, solver='liblinear', max_iter=1000)
	
	    model1.fit(breast.data, breast.target)
	    model2.fit(breast.data, breast.target)
	
	    l1.append(accuracy_score(y_true=y_train, y_pred=model1.predict(x_train)))
	    l2.append(accuracy_score(y_true=y_train, y_pred=model2.predict(x_train)))
	    l1_test.append(accuracy_score(y_true=y_test, y_pred=model1.predict(x_test)))
	    l2_test.append(accuracy_score(y_true=y_test, y_pred=model2.predict(x_test)))
	
	plt.figure(figsize=(6, 6))
	plt.plot(np.linspace(0.05, 1.0, 20), l1, c="green", label='L1')
	plt.plot(np.linspace(0.05, 1.0, 20), l2, c="blue", label='L2')
	plt.plot(np.linspace(0.05, 1.0, 20), l1_test, c="red", label='L1_test')
	plt.plot(np.linspace(0.05, 1.0, 20), l2_test, c="gray", label='L2_test')
	
	plt.legend(loc='lower right')
	plt.show()

  有关LogisticRegression的详细参数说明可参考官方手册。

结束语

  持续充电中，博客内容也在不断更新补充中，如有错误，欢迎来私戳小编哦！共同进步，感谢Thanks♪(･ω･)ﾉ