机器学习之线性回归手推

1. 一元线性回归

给定数据集 D = { ( x 1 ， y 1 ) , ( x 2 ， y 2 ) ， . . . ， ( x m , y m ) } D=\{ (\boldsymbol{x_{1}}， y_{1}), (\boldsymbol{x_{2}}， y_{2})，...，(\boldsymbol{x_{m}}, y_{m})\} D={(x1​，y1​),(x2​，y2​)，...，(xm​,ym​)}，考虑一元回归问题：我们希望寻找到$f(x)=\mathbf{\omega }x+\mathbf{b}$ 这样一条直线，使得数据集$D$上的点到直线$f(x)$的距离之和的绝对值最小（$L_1$范数），即$min{\sum }_{i=1}^m|f(x_i)-y_i|$。


由于函数$|f(x)-y_i|$存在尖点，不可导，因此采用$|f(x_i)-y_i{|}^2$来替代其原有的距离，因此，对于数据集$D$，我们希望最小拟合直线与数据点之间的距离，构造如下损失函数：
$$L=min\sum _{i=1}^m|f(x_i)-y_i{|}^2\iff min\sum _{i=1}^m(f(x_i)-y_i{)}^2=min\sum _{i=1}^m(\mathbf{\omega }{x}_i+\mathbf{b}-y_i{)}^2$$
为了方便数学运算，习惯上将损失函数$L$写作：$$L=min\frac{1}{2}\sum _{i=1}^m(\mathbf{\omega }{x}_i+\mathbf{b}-y_i{)}^2$$
$$({\mathbf{\omega }}^{\ast }，{\mathbf{b}}^{\ast })=\underset{\omega ,b}{\arg }minL=\underset{\omega ,b}{\arg }min\frac{1}{2}\sum _{i=1}^m(\mathbf{\omega }{x}_i+\mathbf{b}-y_i{)}^2$$
我们从损失函数$L$中取出一项$(\mathbf{\omega }{x}_i+\mathbf{b}-y_i{)}^2$，分别求其关于$\mathbf{\omega }$和$\mathbf{b}$的偏导，就有：
$$\frac{\partial (\mathbf{\omega }{x}_i+\mathbf{b}-y_i{)}^2}{\partial \mathbf{\omega }}=2x_i(\mathbf{\omega }{x}_i+\mathbf{b}-y_i)$$

$$\frac{\partial (\mathbf{\omega }{x}_i+\mathbf{b}-y_i{)}^2}{\partial \mathbf{b}}=2(\mathbf{\omega }{x}_i+\mathbf{b}-y_i)$$

因此就有
$$\frac{\partial L}{\partial \mathbf{\omega }}=\frac{1}{2}[2x_1(\mathbf{\omega }{x}_1+\mathbf{b}-y_1)+2x_2(\mathbf{\omega }{x}_2+\mathbf{b}-y_2)+，...，+2x_m(\mathbf{\omega }{x}_m+\mathbf{b}-y_m)]$$

整理一下：
$$\frac{\partial L}{\partial \mathbf{\omega }}=\mathbf{\omega }(x_1^2+x_2^2+，...，+x_m^2)+\mathbf{b}(x_1+x2+，...，+x_m)-(x_1{y}_1+x_2{y}_2+，...，+x_m{y}_m)$$

$$\frac{\partial L}{\partial \mathbf{\omega }}=\mathbf{\omega }\sum _{i=1}^m{x}_i^2+\mathbf{b}\sum _{i=1}^m{x}_i-\sum _{i=1}^m{x}_i{y}_i$$

同样的，我们对$\mathbf{b}$求偏导就有：

$$\frac{\partial L}{\partial \mathbf{b}}=\frac{1}{2}[2(\mathbf{\omega }{x}_1+\mathbf{b}-y_1)+2(\mathbf{\omega }{x}_2+\mathbf{b}-y_2)+，...，+2(\mathbf{\omega }{x}_m+\mathbf{b}-y_m)]$$

整理一下：
$$\frac{\partial L}{\partial \mathbf{b}}=\mathbf{\omega }(x_1+x_2+，...，+x_m)+\mathbf{b}(1+1+，...，+1)-(y_1+y_2+，...，+y_m)$$

$$\frac{\partial L}{\partial \mathbf{b}}=\mathbf{\omega }\sum _{i=1}^m{x}_i+\mathbf{b}\sum _{i=1}^{m}1-\sum _{i=1}^m{y}_i$$

分别令其偏导等于0，联立方程组求解可得：
$$\{\begin{array}{ll}& \frac{\partial L}{\partial \mathbf{\omega }}=\mathbf{\omega }{\sum }_{i=1}^m{x}_i^2+\mathbf{b}{\sum }_{i=1}^m{x}_i-{\sum }_{i=1}^m{x}_i{y}_i=0\text{(1)}\\ & \frac{\partial L}{\partial \mathbf{b}}=\mathbf{\omega }{\sum }_{i=1}^m{x}_i+\mathbf{b}{\sum }_{i=1}^{m}1-{\sum }_{i=1}^m{y}_i=0\text{(2)}\end{array}$$

通过$(2)$式我们可以求得：
$$\mathbf{b}=\frac{{\sum }_{i=1}^m{y}_i-\mathbf{\omega }{\sum }_{i=1}^m{x}_i}{{\sum }_{i=1}^{m}1}=\frac{{\sum }_{i=1}^m(y_i-\mathbf{\omega }{\mathbf{x}}_{\mathbf{i}})}{m}\text{(3)}$$

将$(3)$式代入$(1)$式可以得到：
$$\mathbf{\omega }\sum _{i=1}^m{x}_i^2+\frac{{\sum }_{i=1}^m(y_i-\mathbf{\omega }{\mathbf{x}}_{\mathbf{i}})}{m}\sum _{i=1}^m{x}_i-\sum _{i=1}^m{x}_i{y}_i=0$$

将$\mathbf{\omega }$提出来，就有：
$$\mathbf{\omega }(\sum _{i=1}^m{x}_i^2-\frac{1}{m}(\sum _{i=1}^m{x}_i)(\sum _{i=1}^m{x}_i))=\sum _{i=1}^m{x}_i{y}_i-\frac{1}{m}(\sum _{i=1}^m{y}_i)(\sum _{i=1}^m{x}_i)$$

因此可以解得：
$$\mathbf{\omega }=\frac{{\sum }_{i=1}^m{x}_i{y}_i-\frac{1}{m}({\sum }_{i=1}^m{y}_i)({\sum }_{i=1}^m{x}_i)}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i)({\sum }_{i=1}^m{x}_i)}$$

如果令$\bar{x}=\frac{1}{m}{\sum }_{i=1}^m{x}_i$

则可以得到：
$$\mathbf{\omega }=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-{\sum }_{i=1}^m{x}_i\bar{x}}$$

2.多元线性回归

给定数据集 D = { ( x 1 ， y 1 ) , ( x 2 ， y 2 ) ， . . . ， ( x m , y m ) } D=\{ (\boldsymbol{x_{1}}， y_{1}), (\boldsymbol{x_{2}}， y_{2})，...，(\boldsymbol{x_{m}}, y_{m})\} D={(x1​，y1​),(x2​，y2​)，...，(xm​,ym​)}，不同于一元线性回归，多元线性回归中，每一个${\mathbf{x}}_{\mathbf{i}}$都是一个$n$维特征向量，即${\mathbf{x}}_{\mathbf{i}}=(x_i^1，x_i^2，x_i^3，...，x_i^j，...，x_i^n)$，其中$x_i^j$表示第$i$个样本的第$j$个特征值，如果我们将所有的样本特征值放入一个矩阵，将会得到如下：
$${\left[\begin{array}{c}{\mathbf{x}}_1\\ {\mathbf{x}}_2\\ ...\\ {\mathbf{x}}_{\mathbf{m}}\end{array}\right]}_{m\times 1}={\left[\begin{array}{cccc}{x}_1^1& x_1^2& ，...，& x_1^n\\ x_2^1& x_2^2& ，...，& x_2^n\\ ...& ...& ，...，& ...\\ x_m^1& x_m^2& ，...，& x_m^n\end{array}\right]}_{m\times n}$$

因此我们希望寻找到这样一条直线去拟合或者说靠近$y$：
$$f(x)=\mathbf{b}+{\omega }_1{x}^1+{\omega }_2{x}^2+，...，+{\omega }_n{x}^n\simeq y$$

为了方便矩阵表示，不妨令$\mathbf{b}={\omega }_0$，$x_i^0=1$则就有：
$$f(x_i)={\omega }_0{x}_i^0+{\omega }_1{x}_i^1+{\omega }_2{x}_i^2+，...，+{\omega }_n{x}_i^n\simeq y_i$$

为了方便数学运算，我们将其表示为矩阵形式：
$$f(x_i)={\left[\begin{array}{ccccc}{x}_1^0& x_1^1& x_1^2& ，...，& x_1^n\\ x_2^0& x_2^1& x_2^2& ，...，& x_2^n\\ ...& ...& ...& ，...，& ...\\ x_m^0& x_m^1& x_m^2& ，...，& x_m^n\end{array}\right]}_{m\times (n+1)}\times {\left[\begin{array}{c}{\omega }_0\\ {\omega }_1\\ ...\\ {\omega }_n\end{array}\right]}_{(n+1)\times 1}\simeq {\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_m\end{array}\right]}_{m\times 1}$$
其中$x_i^0=0$，分别令三个字母$X，\mathbf{\omega }，Y$，上式则表示为如下：
$$f(x_i)=X\mathbf{\omega }\simeq Y$$

与一元线性回归类似，我们构造一个损失函数$L$，并将其最小化以求得$\mathbf{\omega }$：
$${\mathbf{\omega }}^{\ast }=\underset{\mathbf{\omega }}{\arg }minL$$

参考一元线性回归：
$$L=||X\mathbf{\omega }-Y|{|}^2=(X\mathbf{\omega }-Y{)}^T(X\mathbf{\omega }-Y)$$

将$(X\mathbf{\omega }-Y{)}^T(X\mathbf{\omega }-Y)$展开：
$$L=({\mathbf{\omega }}^T{X}^T-Y^T)(X\mathbf{\omega }-Y)$$

$$L={\mathbf{\omega }}^T{X}^{T}X\mathbf{\omega }-{\mathbf{\omega }}^T{X}^{T}Y-Y^{T}X\mathbf{\omega }+Y^{T}Y$$

对于矩阵相乘，有如下说明：
$X_{m\times (n+1)}$，那么$X_{(n+1)\times m}^T$
${\mathbf{\omega }}_{(n+1)\times 1}$，那么${\mathbf{\omega }}_{1\times (n+1)}^T$
$Y_{m\times 1}$，那么$Y_{1\times m}^T$

因此，对于${\mathbf{\omega }}^T{X}^{T}Y$ 和$Y^{T}X\mathbf{\omega }$就有：

${\mathbf{\omega }}_{1\times (n+1)}^T{X}_{(n+1)\times m}^T{Y}_{m\times 1}=({\mathbf{\omega }}^T{X}^{T}Y{)}_{1\times 1}$，是一个标量（或者说一个数）

$Y_{1\times m}^T{X}_{m\times (n+1)}{\mathbf{\omega }}_{(n+1)\times 1}=(Y^{T}X\mathbf{\omega }{)}_{1\times 1}$，也是一个标量（或者说一个数）

同样的，$Y_{1\times m}^T{Y}_{m\times 1}=(Y^{T}Y{)}_{1\times 1}$，也是一个标量（或者说一个数）

据此，就可以将$L$化简为如下：
$$L={\mathbf{\omega }}^T{X}^{T}X\mathbf{\omega }-2{\mathbf{\omega }}^T{X}^{T}Y+Y^{T}Y$$

对$\mathbf{\omega }$求偏导：
$$\frac{\partial L}{\partial \mathbf{\omega }}=\frac{\partial ({\mathbf{\omega }}^T{X}^{T}X\mathbf{\omega })}{\partial \mathbf{\omega }}-2X^{T}Y$$

由于
$$\frac{d(U^{T}V)}{dx}=\frac{d{U}^T}{dx}V+\frac{d{V}^T}{dx}U\Rightarrow \frac{d({\mathbf{\omega }}^T\mathbf{\omega })}{d\mathbf{\omega }}=\frac{d{\mathbf{\omega }}^T}{d\mathbf{\omega }}\mathbf{\omega }+\frac{d{\mathbf{\omega }}^T}{d\mathbf{\omega }}\mathbf{\omega }=2\mathbf{\omega }$$

那么，如果给定$A$是一个方阵，就有：
$$\frac{d({\mathbf{\omega }}^{T}A\mathbf{\omega })}{d\mathbf{\omega }}=\frac{d{\mathbf{\omega }}^T}{d\mathbf{\omega }}A\mathbf{\omega }+\frac{d({\mathbf{\omega }}^T{A}^T)}{d\mathbf{\omega }}\mathbf{\omega }=(A+A^T)\mathbf{\omega }$$

由于$(X_{(n+1)\times m}^T{X}_{m\times (n+1)})=(X^{T}X{)}_{(n+1)\times (n+1)}$，是一个方阵，不妨令$A=X^{T}X$，则：
$$\frac{\partial ({\mathbf{\omega }}^T{X}^{T}X\mathbf{\omega })}{\partial \mathbf{\omega }}=(X^{T}X+(X^{T}X{)}^T)\mathbf{\omega }=2X^{T}X\mathbf{\omega }$$

所以：
$$\frac{\partial L}{\partial \mathbf{\omega }}=2X^{T}X\mathbf{\omega }-2X^{T}Y$$

令$\frac{\partial L}{\partial \mathbf{\omega }}=0$，求出${\mathbf{\omega }}^{\ast }$得：
$${\mathbf{\omega }}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}Y$$