线性回归与逻辑回归的原理及推导

线性回归

线性回归使用线性模型去拟合数据集，进行预测。线性回归的预测函数的一般形式为：
$$f(\mathbf{x})={\Sigma }_{i=0}^n{w}_i{x}_i+b$$

用${\mathbf{x}}_i$表示第i个样本的特征，如果样本有m个特征，则${\mathbf{x}}_i$为一个m为特征向量${\mathbf{x}}_i=[x_1^{(i)}{x}_2^{(i)}...x_m^{(i)}{]}^{\mathbf{T}}$。对应的参数$\mathbf{w}$则也为一个m维向量，$\mathbf{w}=[w_1{w}_2...w_m{]}^{\mathbf{T}}$，则线性回归表达式可以写成矩阵形式：

$$f(\mathbf{x})={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$

最小二乘估计

用$({\mathbf{x}}_i,y_i)$表示为第i个样本，${\mathbf{x}}_{\mathbf{i}},y_i$分别为其特征和真实类别。

线性回归模型中，参数w的最优值为：

$${\mathbf{w}}^{\ast }=\underset{w}{\mathrm{argmin}}{\Sigma }_{i=0}^n(y_i-f({\mathbf{x}}_i){)}^2$$

使用最小二乘法对w和b进行估计。找到一条直线，使得均方误差$E=\frac{1}{2}{\Sigma }_{i=0}^n(y_i-f({\mathbf{x}}_i){)}^2$最小(为了计算方便对其乘了1/2)。对$\mathbf{w}$中的每个参数求偏导数，并令其偏导数为0。

$$\begin{array}{rl}\frac{\partial E}{\partial w_k}& =-{\Sigma }_{i=0}^n((y_i-({\Sigma }_{j=0}^m{w}_j{x}_j^{(i)}+b))x_k^{(i)})\\ & =-{\Sigma }_{i=0}^n((y_i-f({\mathbf{x}}_{\mathbf{i}}))x_k^{(i)})=0\end{array}$$

将其写为矩阵形式，

$$\mathbf{X}=\left[\begin{array}{ccccc}{x}_1^{(1)}& x_2^{(1)}& ...& x_m^{(1)}& 1\\ x_1^{(2)}& x_2^{(2)}& ...& x_m^{(2)}& 1\\ ⋮& ⋮& & & \\ x_1^{(n)}& x_2^{(n)}& ...& x_m^{(n)}& 1\end{array}\right]=\left[\begin{array}{cc}{\mathbf{x}}_1^{\mathbf{T}}& 1\\ {\mathbf{x}}_2^{\mathbf{T}}& 1\\ ⋮& ⋮\\ {\mathbf{x}}_m^{\mathbf{T}}& 1\end{array}\right]$$

$$\mathbf{w}=[w_1{w}_2...w_{m}b{]}^{\mathbf{T}}$$

$$\mathbf{y}=[y_1{y}_2...y_n{]}^{\mathbf{T}}$$

线性回归模型中，参数w的最优值为：
$${\mathbf{w}}^{\ast }=\underset{w}{\mathrm{argmin}}(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^{\mathbf{T}}(\mathbf{y}-\mathbf{X}\mathbf{w})$$
使用最小二乘法对w和b进行估计。找到一条直线，使得均方误差E最小。

E的期望值为：
$$E=(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^{\mathbf{T}}(\mathbf{y}-\mathbf{X}\mathbf{w})$$
要使E的值最小，令其对$\mathbf{w}$的导数为0
$$\begin{array}{rl}\frac{\partial E}{\partial \mathbf{w}}& =2{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{w}-2{\mathbf{X}}^{\mathbf{T}}\mathbf{y}\\ & =2{\mathbf{X}}^{\mathbf{T}}(\mathbf{X}\mathbf{w}-\mathbf{y})=0\end{array}$$
当${\mathbf{X}}^{\mathbf{T}}\mathbf{X}$是满秩矩阵或正定矩阵时，可以对其求逆，此时有：
$${\mathbf{w}}^{\ast }=({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$$
这样的过程称为线性回归模型的最小二乘估计

广义线性模型

广义线性模型中，将原本的线性模型的输出空间进行非线性函数映射。考虑单调可微函数g(·)，令
$$y=g^{-1}({\mathbf{w}}^{\mathbf{T}}\mathbf{x})+b$$
这样的模型成为广义线性模型，g(·)称为联系函数。对数线性回归是广义线性模型在g(·)=ln(·)时的特例。

对数几率回归（逻辑回归）

逻辑回归虽然叫做回归，但实际上做是分类。

对数几率函数（对数几率函数属于sigmoid函数）：
$$y=f_{w,b}(\mathbf{x})=\frac{1}{1+e^{-({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)}}$$
该式可变换为：
$$ln(\frac{y}{1-y})={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$
若将y视为样本x为正类的可能性，则1-y就对应x为负类的可能性，因此两者的比值就反映了x为正例的相对可能性，又因为取了对数，因此这个模型称为对数几率模型（logistic regression 或logit regression）。对数函数是任意阶可导的凸函数，有很好的数学性质。

接下来确定逻辑回归的参数w。

首先根据定义，我们有概率：
$$\begin{gathered} P(y=1|\mathbf{x})=\frac{1}{1+e^{-({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)}} \\ P(y=0|\mathbf{x})=\frac{e^{-({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)}}{1+e^{-({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)}}=(1-P(y=1|\mathbf{x})) \end{gathered}$$
将两式合并，得到：
$$\begin{array}{rl}P(y|\mathbf{x};\mathbf{w},b)& =yP(y=1|\mathbf{x})+(1-y)P(y=0|\mathbf{x})\\ & =P(y=1|\mathbf{x}{)}^y+P(y=0|\mathbf{x}{)}^{(1-y)}\\ & =P(y|\mathbf{x}{)}^y\ast (1-P(y|\mathbf{x}{)}^{(1-y)})\end{array}$$
于是，我们可以通过极大似然法来来估计w和b的值。
$$\begin{array}{rl}L(\mathbf{w},b)& =\prod _{i}P(y_i|{\mathbf{x}}_{\mathbf{i}}{)}^{y_i}\ast (1-P(y_i|{\mathbf{x}}_{\mathbf{i}}{)}^{(1-y_i)})\\ & =\prod _i{f}_{w,b}({\mathbf{x}}_{\mathbf{i}}{)}^{y_i}\ast (1-f_{w,b}({\mathbf{x}}_{\mathbf{i}}){)}^{(1-y_i)})\end{array}$$
对其取对数，得到对数似然函数：
$$\begin{array}{rl}LL(w,b)& =\underset{i}{\Sigma }ln(f_{w,b}({\mathbf{x}}_{\mathbf{i}}{)}^{y_i}\ast (1-f_{w,b}({\mathbf{x}}_{\mathbf{i}}){)}^{(1-y_i)})))\\ & =\underset{i}{\Sigma }(y_{i}ln{f}_{w,b}({\mathbf{x}}_{\mathbf{i}})+(1-y_i)ln(1-f_{w,b}({\mathbf{x}}_{\mathbf{i}})))\end{array}$$

计算对应的梯度：
$$\begin{array}{rl}\frac{\partial LL(w,b)}{\partial \mathbf{w}}& =\frac{1}{n}{\Sigma }_{i=1}^n(y_{i}ln{f}_{w,b}({\mathbf{x}}_i)+(1-y_i)ln(1-f_{w,b}({\mathbf{x}}_i)))\\ & =\frac{1}{n}{\Sigma }_{i=1}^n(\frac{\partial (y_{i}ln{f}_{w,b}({\mathbf{x}}_i))}{\partial \mathbf{w}}+\frac{\partial ((1-y_i)ln(1-f_{w,b}({\mathbf{x}}_i))}{\partial \mathbf{w}})\\ & =\frac{1}{n}{\Sigma }_{i=1}^n(\frac{y_i}{f_{w,b}({\mathbf{x}}_i)}\frac{\partial f_{w,b}({\mathbf{x}}_i)}{\partial \mathbf{w}}+\frac{1-y_i}{1-f_{w,b}({\mathbf{x}}_i)}\frac{\partial (1-f_{w,b}({\mathbf{x}}_i))}{\partial \mathbf{w}})\\ & =\frac{1}{n}{\Sigma }_{i=1}^n(\frac{y_i}{f_{w,b}({\mathbf{x}}_i)}{f}_{w,b}({\mathbf{x}}_i)(1-f_{w,b}(\mathbf{x})){\mathbf{x}}_i-\frac{1-y_i}{1-f_{w,b}({\mathbf{x}}_i)}{f}_{w,b}(x_i)(1-f({\mathbf{x}}_i)){\mathbf{x}}_i\\ & =\frac{1}{n}{\Sigma }_{i=1}^n(y_i(1-f_{w,b}({\mathbf{x}}_i)){\mathbf{x}}_i-(1-y_i)f_{w,b}({\mathbf{x}}_i){\mathbf{x}}_i))\\ & =\frac{1}{n}{\Sigma }_{i=1}^n(y_i\frac{e^{-({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)}{\mathbf{x}}_i}{1+e^{-({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)}}-(1-y)\frac{{\mathbf{x}}_i}{1+e^{-({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)}})\\ & =\frac{1}{n}{\Sigma }_{i=1}^n((y_i-\frac{1}{1+e^{-({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)}}){\mathbf{x}}_i)\\ & =\frac{1}{n}{\Sigma }_{i=1}^n((y_i-f_{w,b}({\mathbf{x}}_i)){\mathbf{x}}_i)\end{array}$$

得到最优化问题：
$$w^{\ast },b^{\ast }=\underset{w,b}{\mathrm{argmax}}LL(w,b)$$
可以使用梯度下降或牛顿法迭代更新求解该最优化问题。可以参考另一篇文章：牛顿法及其几何意义

如果得到的最大似然LL(w,b)取反，则得到
$$\begin{array}{rl}-LL(\mathbf{w},b)& ={\Sigma }_{i=0}^n(-y_{i}ln{f}_{w,b}({\mathbf{x}}_{\mathbf{i}})-(1-y_i)ln(1-f_{w,b}({\mathbf{x}}_{\mathbf{i}})))\\ & ={\Sigma }_{i=0}^n(-y_{i}ln{\hat{y}}_i-(1-y_{i}ln(1-{\hat{y}}_i))\end{array}$$
需要求解的优化问题就变成了
$${\mathbf{w}}^{\ast },b^{\ast }=\underset{\mathbf{w},b}{\mathrm{argmin}}(-LL(\mathbf{w},b))$$

仔细观察可以发现，待优化的式子中的项正是交叉熵，即使用最大似然估计求解得到的参数与使用最小化交叉熵所得到的结果一致（两者的思想并不一样）。

读者如果有兴趣推导一下梯度下降的递推式可以发现，逻辑回归与线性回归的梯度下降递推式的形式是一致的。当然，两个递推式的含义不一致。

如果熟悉神经网络还可以发现，逻辑回归的预测函数就是神经网络中常用的神经元激活函数之一，因此逻辑回归可以简单看作只有一个神经元节点的神经网络。