线性回归和逻辑回归

一、线性回归

1、例子

假设有两个特征——工资和年龄，目标是预测银行会贷款给我多少钱(标签)，工资和年龄都会影响最终银行贷款的结果那么它们各自有多大的影响呢？(参数)

2、数学模型

假设${\theta }_1$是年龄的参数，${\theta }_2$是工资的参数，拟合的平面方程为：$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2\text{\hspace{1em}(1)}$$其中，${\theta }_0$为偏置项。
用矩阵乘法可表示为：$$h_{\theta }(x)=\sum _{i=0}^n{\theta }_i{x}_i={\theta }^{T}x\text{\hspace{1em}(2)}$$其中$x_0$为全1向量。

3、误差

真实值和预测值之间存在差异(用$\epsilon$来表示该误差值)，对于每个样本：$$y^{(i)}={\theta }^T{x}^{(i)}+{\epsilon }^{(i)}\text{\hspace{1em}(3)}$$其中，误差${\epsilon }^{(i)}$独立同分布，并且服从均值为0方差为${\sigma }^2$的高斯分布，即：$$p({\epsilon }^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{({\epsilon }^{(i)}{)}^2}{2{\sigma }^2}\right)\text{\hspace{1em}(4)}$$将式(3)代入式(4)，得：$$p(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}\right)\text{\hspace{1em}(5)}$$似然函数为：$$L(\theta )=\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}\right)\text{\hspace{1em}(6)}$$对似然函数取自然对数：$$\ln L(\theta )=\ln \frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}\right)\text{\hspace{1em}(7)}$$展开化简为：$$\ln L(\theta )=m\ln \frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2\text{\hspace{1em}(8)}$$目标是让似然函数值越大越好，即：$$\max \left\{J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2=\frac{1}{2}(X\theta -y{)}^T(X\theta -y)\right\}\text{\hspace{1em}(9)}$$对$\theta$求偏导：$$\begin{array}{r}\frac{\partial J(\theta )}{\partial \theta }=\frac{\partial }{\partial \theta }\left(\frac{1}{2}(X\theta -y{)}^T(X\theta -y)\right)\\ \\ =\frac{\partial }{\partial \theta }\left(\frac{1}{2}({\theta }^T{X}^T-y^T)(X\theta -y)\right)\\ \\ =\frac{\partial }{\partial \theta }\left(\frac{1}{2}({\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}y-y^{T}X\theta +y^{T}y)\right)\\ \\ =\frac{1}{2}\left(2X^{T}X\theta -X^{T}y-(y^{T}X{)}^T\right)\\ \\ =X^{T}X\theta -X^{T}y\end{array}\text{\hspace{1em}(10)}$$令偏导等于0，解得：$$\theta ={\left(X^{T}X\right)}^{-1}{X}^{T}y\text{\hspace{1em}(11)}$$

4、评估方法

最常用的评估项：$$R^2=1-\frac{\sum _{i=1}^m({\hat{y}}_i-y_i{)}^2}{\sum _{i=1}^m(y_i-\bar{y}{)}^2}\text{\hspace{1em}(12)}$$$R^2$的取值越接近于1认为模型拟合的越好。

5、梯度下降

目标函数：$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i)\text{\hspace{1em}(13)}$$

5.1 批量梯度下降

$$\frac{\partial J(\theta )}{\partial {\theta }_j}=-\frac{1}{m}\sum _{i=1}^m(y^i-h_{\theta }(x^i))x_j^i\text{\hspace{1em}(14)}$$$${\theta }_j^{\prime }={\theta }_j+\frac{1}{m}\sum _{i=1}^m(y^i-h_{\theta }(x^i))x_j^i\text{\hspace{1em}(15)}$$容易得到最优解，但是由于每次考虑所有样本，速度很慢。

5.2 随机梯度下降

$${\theta }_j^{\prime }={\theta }_j+(y^i-h_{\theta }(x^i))x_j^i\text{\hspace{1em}(16)}$$每次找一个样本，迭代速度快，但不一定每次都朝着收敛的方向。

5.3 小批量梯度下降

$${\theta }_j^{\prime }={\theta }_j-\alpha \frac{1}{n}\sum _{k=i}^{i+n}(h_{\theta }(x^k)-y^k)x_j^k\text{\hspace{1em}(17)}$$每次更新选择一小部分数据来算，比较实用，是当前主流的方法。

二、逻辑回归

逻辑回归(Logistic regression)是经典的二分类算法，其决策边界可以是非线性的。

1、Sigmoid函数

Sigmoid函数表达式为：$$g(z)=\frac{1}{1+e^{-z}}\text{\hspace{1em}(18)}$$其自变量取值为任意实数，值域为$[0,1]$，二维平面图如图1所示。

图1 Sigmoid函数图形

将任意的输入映射到了$[0,1]$区间，然后在线性回归中可以得到一个预测值，再将该值映射到Sigmoid函数中这样就完成了由值到概率的转换，也就是分类任务。
预测函数为：$$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}\text{\hspace{1em}(19)}$$其中，${\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n={\sum }_{i=1}^n{\theta }_i{x}_i={\theta }^{T}x$。
分类任务可分解为：$$\{\begin{array}{l}P(y=1|x;\theta )=h_{\theta }(x)\\ P(y=0|x;\theta )=1-h_{\theta }(x)\end{array}\text{\hspace{1em}(20)}$$即：$$P(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}\text{\hspace{1em}(21)}$$对于二分类任务$(0,1)$，整合后$y$取0只保留$(1-h_{\theta }(x){)}^{1-y}$，$y$取1只保留$(h_{\theta }(x){)}^y$。
似然函数：$$L(\theta )=\prod _{i=1}^{m}P(y_i|x_i;\theta )=\prod _{i=1}^m(h_{\theta }(x_i){)}^{y_i}(1-h_{\theta }(x_i){)}^{1-y_i}\text{\hspace{1em}(22)}$$对数似然：$$l(\theta )=\ln L(\theta )=\sum _{i=1}^m(y_i\ln h_{\theta }(x_i)+(1-y_i)\ln (1-h_{\theta }(x_i)))\text{\hspace{1em}(23)}$$此时应用梯度上升求最大值，引入$J(\theta )=-\frac{1}{m}l(\theta )$转换为梯度下降任务。

2、求导过程

$$\begin{gathered} \frac{\partial J(\theta )}{\partial {\theta }_j}=-\frac{1}{m}\sum _{i=1}^m\left(y_i\frac{1}{h_{\theta }(x_i)}\frac{\partial }{\partial {\theta }_j}{h}_{\theta }(x_i)-(1-y_i)\frac{1}{1-h_{\theta }(x_i)}\frac{\partial }{\partial {\theta }_j}{h}_{\theta }(x_i)\right) \\ =-\frac{1}{m}\sum _{i=1}^m\left(y_i\frac{1}{g({\theta }^T{x}_i)}-(1-y_i)\frac{1}{1-g({\theta }^T{x}_i)}\right)\frac{\partial }{\partial {\theta }_j}g({\theta }^T{x}_i) \\ =-\frac{1}{m}\sum _{i=1}^m\left(y_i\frac{1}{g({\theta }^T{x}_i)}-(1-y_i)\frac{1}{1-g({\theta }^T{x}_i)}\right)g({\theta }^T{x}_i)(1-g({\theta }^T{x}_i))\frac{\partial }{\partial {\theta }_j}{\theta }^T{x}_i \\ =-\frac{1}{m}\sum _{i=1}^m\left(y_i(1-g({\theta }^T{x}_i))-(1-y_i)g({\theta }^T{x}_i)\right)x_i^j \\ =-\frac{1}{m}\sum _{i=1}^m\left(y_i-g({\theta }^T{x}_i)\right)x_i^j \\ =\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x_i)-y_i)x_i^j\text{\hspace{1em}(24)} \end{gathered}$$参数更新：$${\theta }_j^{\prime }={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x_i)-y_i)x_i^j\text{\hspace{1em}(25)}$$

三、参考文献

[1] 唐宇迪. 跟着迪哥学Python数据分析与机器学习实战[M]. 北京: 人民邮电出版社, 2019: 112-125.