2022机器学习实战课内容笔记 - Lesson 4.6 逻辑回归的手动实现

Lesson 4.6 逻辑回归的手动实现

  讨论完梯度下降的相关内容之后，接下来我们尝试使用梯度下降算法求解逻辑回归损失函数，并且通过一系列实验来观察逻辑回归的模型性能。

# 科学计算模块
import numpy as np
import pandas as pd

# 绘图模块
import matplotlib as mpl
import matplotlib.pyplot as plt

# 自定义模块
from ML_basic_function import *

一、逻辑回归损失函数的梯度计算表达式

  对于任何模型的手动实现，首先我们都需要考虑关于其损失函数的梯度计算表达式。并且为了方便代码实现，我们需要尽可能的使用矩阵形式进行表示。在线性回归中，我们通过矩阵求导运算，可以非常快速的求解出用矩阵形式表示的损失函数梯度表达式，而在逻辑回归中，由于损失函数表达式的不同，这个过程会略微复杂一些。

  在Lesson 4.2中，我们从极大似然估计和KL离散两个角度推导了逻辑回归损失函数，对于二分类为逻辑回归模型来说，假设数据集是m行n列的一个数据集，则二分类交叉熵损失函数如下：

$$binaryCE(\hat{w})=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\cdot log(p_1({\hat{x}}^{(i)};\hat{w}))+(1-y^{(i)})\cdot log(1-p_1({\hat{x}}^{(i)};\hat{w}))]$$

  其中n为样本数量，${\hat{x}}^{(i)}$为第i条样本（添加了最后全是1的列），$\hat{w}$为带截距项的线性方程系数向量，$p_1$为某条样本在当前参数下逻辑回归输出结果，即预测该样本为1的概率，$y^{(i)}$为第$i$条样本的真实类别。对于上述BCE损失函数，梯度表达式为：

其中$\hat{w}=[w_1,w_2,w_3,...,w_n,b]$，因此上式可进一步展开：

而$log(p_1({\hat{x}}^{(i)};\hat{w}))=log(Sigmoid({\hat{x}}^{(i)}\cdot \hat{w}))$，我们对带入某条数据后的某个参数进行求导，例如对$w_i$进行求导，则可得：

$$log(p_1({\hat{x}}^{(i)};\hat{w}){)}^{\prime }=log(Sigmoid({\hat{x}}^{(i)}\cdot \hat{w}){)}^{\prime }=\frac{1}{Sigmoid({\hat{x}}^{(i)}\cdot \hat{w})}\cdot Sigmoi{d}^{\prime }({\hat{x}}^{(i)}\cdot \hat{w})$$

对于Sigmoid函数来说，有$Sigmoi{d}^{\prime }(x)=Sigmoid(x)(1-Sigmoid(x))$，因此上式可进一步得到：

$$log(p_1({\hat{x}}^{(i)};\hat{w}){)}^{\prime }=(1-Sigmoid({\hat{x}}^{(i)}\cdot \hat{w}))\cdot ({\hat{x}}^{(i)}\cdot \hat{w}{)}^{\prime }$$

其中${\hat{x}}^{(i)}\cdot \hat{w}=w_1{x}_1^{(i)}+w_2{x}_2^{(i)}+...+w_n{x}_n^{(i)}+b$，对$w_i$求导可得：

$$({\hat{x}}^{(i)}\cdot \hat{w}{)}^{\prime }=x_i^{(i)}$$

当然，对截距求导可得：

$$({\hat{x}}^{(i)}\cdot \hat{w}{)}^{\prime }=1$$

因此，在$log(p_1({\hat{x}}^{(i)};\hat{w}))$中对$w_i$求导可得:

$$log(p_1({\hat{x}}^{(i)};\hat{w}){)}^{\prime }=(1-Sigmoid({\hat{x}}^{(i)}\cdot \hat{w}))\cdot x_i^{(i)}$$

而在$log(p_1({\hat{x}}_i;\hat{w}))$中对$b$求导可得:

$$log(p_1({\hat{x}}^{(i)};\hat{w}){)}^{\prime }=(1-Sigmoid({\hat{x}}^{(i)}\cdot \hat{w}))\cdot 1$$

类似的，在$(1-y^{(i)})\cdot log(1-p_1({\hat{x}}^{(i)};\hat{w}))$中对$w_i$求导可得：

$$\begin{array}{rl}(1-y^{(i)})\cdot lo{g}^{\prime }(1-p_1({\hat{x}}^{(i)};\hat{w}))& =(1-y^{(i)})\cdot lo{g}^{\prime }(1-Sigmoid({\hat{x}}^{(i)}\cdot \hat{w}))\\ & =(1-y^{(i)})\cdot \frac{1}{(1-Sigmoid({\hat{x}}^{(i)}\cdot \hat{w}))}\cdot (-Sigmoi{d}^{\prime }({\hat{x}}^{(i)}\cdot \hat{w}))\end{array}$$

同样，由于$Sigmoi{d}^{\prime }(x)=Sigmoid(x)(1-Sigmoid(x))$，所以上式可得：

$$\begin{array}{rl}(1-y^{(i)})\cdot lo{g}^{\prime }(1-p_1({\hat{x}}^{(i)};\hat{w}))& =(1-y^{(i)})\cdot (-Sigmoid({\hat{x}}^{(i)}\cdot \hat{w}))\cdot ({\hat{x}}^{(i)}\cdot \hat{w}{)}^{\prime }\\ & =(1-y^{(i)})\cdot (-Sigmoid({\hat{x}}^{(i)}\cdot \hat{w}))\cdot x_i^{(i)}\end{array}$$

类似的，当对截距项b求导时

$$(1-y^{(i)})\cdot lo{g}^{\prime }(1-p_1({\hat{x}}^{(i)};\hat{w}))=(1-y^{(i)})\cdot (-Sigmoid({\hat{x}}^{(i)}\cdot \hat{w}))\cdot 1$$

将上述结果带入$\frac{\partial BCE(\hat{w})}{\partial w_i}$，当对$w_i$进行求导时：

$$\begin{array}{rl}\frac{\partial BCE(\hat{w})}{\partial w_i}& =(-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\cdot log(p_1({\hat{x}}^{(i)};\hat{w}))+(1-y^{(i)})\cdot log(1-p_1({\hat{x}}^{(i)};\hat{w}))]{)}^{\prime }\\ & =-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\cdot lo{g}^{\prime }(p_1({\hat{x}}^{(i)};\hat{w}))+(1-y^{(i)})\cdot lo{g}^{\prime }(1-p_1({\hat{x}}^{(i)};\hat{w}))]\\ & =-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\cdot (1-Sigmoid({\hat{x}}^{(i)}\cdot \hat{w}))\cdot x_i^{(i)}+(1-y^{(i)})\cdot (-Sigmoid({\hat{x}}^{(i)}\cdot \hat{w}))\cdot x_i^{(i)})]\\ & =-\frac{1}{m}\sum _{i=1}^m[x_i^{(i)}{y}^{(i)}-x_i^{(i)}{y}^{(i)}Sigmoid({\hat{x}}^{(i)}\cdot \hat{w})-x_i^{(i)}Sigmoid({\hat{x}}^{(i)}\cdot \hat{w})+x_i^{(i)}{y}^{(i)}Sigmoid({\hat{x}}^{(i)}\cdot \hat{w})]\\ & =\frac{1}{m}\sum _{i=1}^m(x_i^{(i)}(Sigmoid({\hat{x}}^{(i)}\cdot \hat{w})-y^{(i)}))\\ & =\frac{1}{m}\sum _{i=1}^m(x_i^{(i)}({\hat{y}}^{(i)}-y^{(i)}))\end{array}$$

对截距项b进行求导时：

$$\frac{\partial BCE(\hat{w})}{\partial b}=\frac{1}{m}\sum _{i=1}^{m}1\cdot ({\hat{y}}^{(i)}-y^{(i)})$$

其实，根据定义，$x^{(i)}=[x_1^{(i)},x_2^{(i)},...,x_n^{(i)},1]$，$x_{n+1}^{(i)}=1$，1就是$x^{(i)}$的第$n+1$个分量

我们令$X$为添加最后一列全是1的特征矩阵，$y$是标签数组：

则上式前半部分可简化为：

$$\begin{array}{rl}\left[\begin{array}{c}{\sum }_{i=1}^m{x}_1^{(i)}Sigmoid({\hat{x}}^{(i)}\cdot \hat{w})\\ {\sum }_{i=1}^m{x}_2^{(i)}Sigmoid({\hat{x}}^{(i)}\cdot \hat{w})\\ .\\ .\\ .\\ {\sum }_{i=1}^m{x}_n^{(i)}Sigmoid({\hat{x}}^{(i)}\cdot \hat{w})\\ {\sum }_{i=1}^{m}Sigmoid({\hat{x}}^{(i)}\cdot \hat{w})\end{array}\right]& =\left[\begin{array}{c}{x}_1^{(1)},x_1^{(2)},...,x_1^{(m)}\\ x_2^{(1)},x_2^{(2)},...,x_2^{(m)}\\ .\\ .\\ .\\ x_m^{(1)},x_m^{(2)},...,x_m^{(m)}\\ 1,1,...,1,1\end{array}\right]\cdot \left[\begin{array}{c}Sigmoid({\hat{x}}^{(1)}\cdot \hat{w})\\ Sigmoid({\hat{x}}^{(2)}\cdot \hat{w})\\ .\\ .\\ .\\ Sigmoid({\hat{x}}^{(m)}\cdot \hat{w})\end{array}\right]\\ & ={\left[\begin{array}{c}{x}_1^{(1)},x_2^{(1)},...,x_n^{(1)},1\\ x_1^{(2)},x_2^{(2)},...,x_n^{(2)},1\\ .\\ .\\ .\\ x_1^{(m)},x_2^{(m)},...,x_n^{(m)},1\end{array}\right]}^T\cdot Sigmoid(\left[\begin{array}{c}{x}_1^{(1)},x_2^{(1)},...,x_n^{(1)},1\\ x_1^{(2)},x_2^{(2)},...,x_n^{(2)},1\\ .\\ .\\ .\\ x_1^{(m)},x_2^{(m)},...,x_n^{(m)},1\end{array}\right]\cdot \left[\begin{array}{c}{w}_1\\ w_2\\ .\\ .\\ .\\ w_n\\ b\end{array}\right])\\ & ={\hat{X}}^{T}Sigmoid(\hat{X}\cdot \hat{w})\end{array}$$

同时，后半部分可简化为：

$$\begin{array}{r}\left[\begin{array}{c}{\sum }_{i=1}^m{x}_1^{(i)}{y}^{(i)}\\ {\sum }_{i=1}^m{x}_2^{(i)}{y}^{(i)}\\ .\\ .\\ .\\ {\sum }_{i=1}^m{x}_n^{(i)}{y}^{(i)}\\ {\sum }_{i=1}^m{y}^{(i)}\end{array}\right]={\left[\begin{array}{c}{x}_1^{(1)},x_2^{(1)},...,x_n^{(1)},1\\ x_1^{(2)},x_2^{(2)},...,x_n^{(2)},1\\ .\\ .\\ .\\ x_1^{(m)},x_2^{(m)},...,x_n^{(m)},1\end{array}\right]}^T\cdot \left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ .\\ .\\ .\\ y^{(m)}\end{array}\right]={\hat{X}}^T\cdot y\end{array}$$

因此，逻辑回归损失函数的梯度计算公式为：

并且，据此我们可以定义逻辑回归的梯度计算公式：

def logit_gd(X, w, y):
    """
    逻辑回归梯度计算公式
    """
    m = X.shape[0]
    grad = X.T.dot(sigmoid(X.dot(w)) - y) / m
    return grad

  其实，无论是理论推导还是手动实现，对于机器学习的建模流程来说，只要我们采用梯度下降方法进行参数求解，就需要有以下环节：根据算法原理构建损失函数——根据损失函数构建梯度更新表达式——根据梯度表达式进行参数更新，而在这个过程中，损失函数的构建和梯度表达式的计算其实都是涉及理论部分内容相对较深而实践过程高度重复的，即一旦我们推导出逻辑回归模型的梯度计算公式，在未来长期建模过程中该式都无须更改甚至无须关注，而这部分功能代码，往往都是封装在更高级框架里面的函数或者类。这也是导致我们在调库实现机器学习建模时往往会忽视损失函数和梯度更新表达式的函数形式，而只看重最终建模结果。
  当然，这么做其实无可厚非，对于初中级用户来说，首先最重要的是完成建模整个流程，然后在此基础之上不断精进建模技巧。但无论何时，我们都需要知道工具和框架都只是实现的一种途径，其背后的原理才是能够解决问题的关键。