线性模型之线性回归算法详细推导

线性模型之线性回归算法

一、线性模型基本形式

给定$d$个属性描述的示例$x=(x_1;x_{;}{x}_3;...;x_d)$，其中，$x_i$是在第$i$个属性上的取值，则线性模型可以描述为以下形式：
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b（式1）$$
写成向量形式：
$$f(x)=W^{T}x+b（式2）$$
其中，$W=(w_1;w_2,w_3;...;w_d)$,这样一来在确定了$w和b$之后，就可以确定模型。

二、线性回归

给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)}，其中$x_i=(x_{i1};x_{i2};...;x_{id})$,同时$y_i\in \mathbb{R}$.**注意这里都是指向量，不要混淆。**然后线性回归模型就是试图学习得到一个线性模型，然后尽可能准确的预测真是的输出标记。如下所示：
$$f(x_i)=w{x}_i+b,使得f(x_i)\approx y_i（式3）$$
这里的任务就是要确定$w和b$，其中求取的关键步骤在于使用均方误差。

三、均方误差

使用均方误差来衡量$f(x)与y$之间的差别，他的集合意义是欧氏距离。这里我们试图让均方误差最小化，然后通过求导从而求出参数$w和b$。
$$(w^{\ast },b^{\ast })=argmi{n}_{(w,b)}\sum _{i=1}^m(f(x_i)-y_i{)}^2=argmi{n}_{(w,b)}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2(式4)$$
集合表示如下：

可以清楚的看到，有些预测值在真实值的下面，所以这里使用平方，从而消除符号的影响，通常还会乘以$\frac{1}{2M}$,从而显示出均,这里的$\frac{1}{2}$是为了求导计算的方便性，消除幂指数。

四、线性回归模型的最小二乘“参数估计”

在这里，求解$w和b$使得$E_{(w,b)}={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$最小化的过程，称之为线性回归模型的最小二乘“参数估计”。对$E_{(w,b)}$分别对$w和b$求偏导数，当然这里就是求导数。因为对其中的一个参数求导的时候，另一个参数就可以视为常量，故而这就是求导操作。
$$\frac{\partial E(w,b)}{\partial w}=2(\sum _{i=1}^m(y_i-w{x}_i-b)(-x_i))=2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)(式5)$$
$$\frac{\partial E(w,b)}{\partial b}=\sum _{i=1}^m(2\times (y_i-w{x}_i-b)(-1))=2(mb-\sum _{i=1}^m(y_i-w{x}_i))(式6)$$
这里的${\sum }_{i=1}^{m}b$就等于$mb$,因为$b$与$i$无关。
在这里，$E(w,b)$是关于$w和b$凸函数，根据凸优化理论，当其关于$w和b$的导数均为零时，就可以求得$w,b$的最优解。

证明$E(w,b)$为凸函数的过程，见下一篇博客。

五、求解$w,b$的公式推导

首先由最小二乘法导出损失函数$⟹$证明损失函数$E(w,b)$是关于$w,b$的凸函数$⟹$对损失函数$E(w,b)$分别关于$w,b$求一阶（偏）导数$⟹$令一阶（偏）导数为零$⟹$解出$w和b$.

令$(式6)为零$，即：
$$2(mb-\sum _{i=1}^m(y_i-w{x}_i))=0(式7)$$
$$得到：mb-\sum _{i=1}^m(y_i-w{x}_i)=0(式8)$$
$$得到：b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)=\bar{y}-w\bar{x}(式9)$$

注：$\frac{1}{m}{\sum }_{i=1}^m{y}_i=\bar{y}$也就是$y$的均值；同理$\frac{1}{m}{\sum }_{i=1}^m{x}_i=\bar{x}$。

令$(式5)为零$，即：
$$2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)=0(式10)$$
$$w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i=0(式11)$$
$$w\sum _{i=1}^m{x}_i^2=\sum _{i=1}^m{y}_i{x}_i-\sum _{i=1}^{m}b{x}_i,将b带入得到下式(式12)$$
$$w\sum _{i=1}^m{x}_i^2=\sum _{i=1}^m{y}_i{x}_i-\sum _{i=1}^m(\bar{y}-w\bar{x})x_i⟺w\sum _{i=1}^m{x}_i^2-w\bar{x}\sum _{i=1}^m{x}_i=\sum _{i=1}^m{y}_i{x}_i-\sum _{i=1}^m\bar{y}{x}_i(式13)$$
于是，$w=\frac{{\sum }_{i=1}^m{y}_i{x}_i-{\sum }_{i=1}^m\bar{y}{x}_i}{{\sum }_{i=1}^m{x}_i^2-\bar{x}{\sum }_{i=1}^m{x}_i}$，哎，怎么发现跟书上不一样呢？

注：${\sum }_{i=1}^m\bar{y}{x}_i=\frac{1}{m}{\sum }_{i=1}^m{y}_i{x}_i=\bar{x}{\sum }_{i=1}^m{y}_i$同时，$\bar{x}{\sum }_{i=1}^m{x}_i=\frac{1}{m}{\sum }_{i=1}^m{x}_i\cdot {\sum }_{i=1}^m{x}_i=\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2$，所以进一步转为下式：
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}(式14)$$
至此，我们就求出了$w和b$的最优解。

六、多元线性回归

相较于上面的线性回归，这里实际上是把$b$给吸收了，具体操作为将$b$换成$w_{d+1}\cdot 1$。这样一来参数就只有$w$了。
推导过程：由最小二乘法导出损失函数$E_{\hat{w}}⟹$证明损失函数$E_{\hat{w}}$是关于$\hat{w}$的凸函数$⟹$对损失函数$E_{\hat{w}}$关于$\hat{w}$求取一阶导数$⟹$令一阶导数为零向量解出${\hat{w}}^{\ast }$。
其中，这里是通过将$w和b$组合形成的$\hat{w}$。

这里关于凸函数的证明，请参见下一篇博客。

$$f(x_i)=W^T{x}_i+b写成向量形式如下：$$
$$f(x_i)=(w_1,w_2,w_3,...,w_d)\left(\begin{array}{c}{x}_{i1}\\ x_{i2}\\ ⋮\\ x_{id}\end{array}\right)+b\text{\hspace{1em}(式15)}$$
展开得到如下式子：
$$f(x_i)=w_1{x}_{i1}+w_2{x}_{i2}+w_3{x}_{i3}+\cdots +w_d{x}_{id}+b\text{\hspace{1em}(式16)}$$
因为$(式16)$中的$b$本身就是未知数，所以进行替换为$w_{d+1}\cdot 1$是没有任何影响的，这样就得到下式：
$$f(x_i)=w_1{x}_{i1}+w_2{x}_{i2}+w_3{x}_{i3}+\cdots +w_d{x}_{id+}{w}_{d+1}\cdot 1⟺$$
$$f(x_i)=(w_1,w_2,w_3,\cdots ,w_d,w_{d+1})\left(\begin{array}{c}{x}_{i1}\\ x_{i2}\\ ⋮\\ x_{id}\\ 1\end{array}\right)\text{\hspace{1em}(式17)}$$
其中，$(w_1,w_2,w_3,\cdots ,w_d,w_{d+1})$记为${\hat{w}}^T$,同时$\left(\begin{array}{c}{x}_{i1}\\ x_{i2}\\ ⋮\\ x_{id}\\ 1\end{array}\right)$ 记为${\hat{x}}_i$,这样$(式17)$简写为如下形式：$$f({\hat{x}}_i)={\hat{w}}_i^T{\hat{x}}_i\text{\hspace{1em}(式18)}$$

七、多元线性回归损失函数

由最小二乘法导出损失函数$E\hat{w}$为：
$$E\hat{w}=\sum _{i=1}^m(y_i-f(x_i){)}^2=\sum _{i=1}^m(y_i-{\hat{w}}^T{\hat{x}}_i{)}^2\text{\hspace{1em}(式19)}$$
将上式展开，得到展开形式如下；
$$\sum _{i=1}^m(y_i-{\hat{w}}^T{\hat{x}}_i{)}^2=(y_1-{\hat{w}}^T{\hat{x}}_1{)}^2+(y_2-{\hat{w}}^T{\hat{x}}_2{)}^2+(y_3-{\hat{w}}^T{\hat{x}}_3{)}^2+\cdots +(y_{m-1}-{\hat{w}}^T{\hat{x}}_{m-1}{)}^2+(y_m-{\hat{w}}^T{\hat{x}}_m{)}^2(式20)$$
将上式写成矩阵相乘的形式，如下：
$$(y_1-{\hat{w}}^T{\hat{x}}_1,y_2-{\hat{w}}^T{\hat{x}}_2,y_3-{\hat{w}}^T{\hat{x}}_3,\cdots ,y_m-{\hat{w}}^T{\hat{x}}_m)\left(\begin{array}{c}{y}_1-{\hat{w}}^T{\hat{x}}_1\\ y_2-{\hat{w}}^T{\hat{x}}_2\\ y_3-{\hat{w}}^T{\hat{x}}_3\\ ⋮\\ y_m-{\hat{w}}^T{\hat{x}}_m\end{array}\right)\text{\hspace{1em}(式21)}$$
又因为如下原因：
$$\left(\begin{array}{c}{y}_1-{\hat{w}}^T{\hat{x}}_1\\ y_2-{\hat{w}}^T{\hat{x}}_2\\ y_3-{\hat{w}}^T{\hat{x}}_3\\ ⋮\\ y_m-{\hat{w}}^T{\hat{x}}_m\end{array}\right)=\left(\begin{array}{c}{y}_1\\ y_2\\ y_3\\ ⋮\\ y_m\end{array}\right)-\left(\begin{array}{c}{\hat{w}}^T{\hat{x}}_1\\ {\hat{w}}^T{\hat{x}}_2\\ {\hat{w}}^T{\hat{x}}_3\\ ⋮\\ {\hat{w}}^T{\hat{x}}_m\end{array}\right)=\left(\begin{array}{c}{y}_1\\ y_2\\ y_3\\ ⋮\\ y_m\end{array}\right)-\left(\begin{array}{c}{\hat{x}}_1^T\hat{w}\\ {\hat{x}}_2^T\hat{w}\\ {\hat{x}}_3^T\hat{w}\\ ⋮\\ {\hat{x}}_m^T\hat{w}\end{array}\right)\text{\hspace{1em}(式22)}$$
其中，后一项满足如下形式变换：
$$\left(\begin{array}{c}{\hat{x}}_1^T\hat{w}\\ {\hat{x}}_2^T\hat{w}\\ {\hat{x}}_3^T\hat{w}\\ ⋮\\ {\hat{x}}_m^T\hat{w}\end{array}\right)=\left(\begin{array}{c}{\hat{x}}_1^T\\ {\hat{x}}_2^T\\ {\hat{x}}_3^T\\ ⋮\\ {\hat{x}}_m^T\end{array}\right)\cdot \hat{w}=X\cdot \hat{w}\text{\hspace{1em}(式23)}$$
所以损失函数$E\hat{w}$最终形式为：
$$E\hat{w}=(Y-X\cdot \hat{w}{)}^T\cdot (Y-X\cdot \hat{w})\text{\hspace{1em}(式24)}$$

注：$Y=(y_1,y_2,y_3,\cdots ,y_m{)}^T$,同时，矩阵$X$为：

$$X=\left(\begin{array}{cccccc}{x}_{11}& x_{12}& x_{13}& \cdots & x_{1d}& 1\\ x_{21}& x_{22}& x_{23}& \cdots & x_{2d}& 1\\ x_{31}& x_{32}& x_{33}& \cdots & x_{3d}& 1\\ ⋮& ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& x_{m3}& \cdots & x_{md}& 1\end{array}\right)=\left(\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ x_3^T& 1\\ ⋮& ⋮\\ x_m^T& 1\end{array}\right)=\left(\begin{array}{c}{\hat{x}}_1^T\\ {\hat{x}}_2^T\\ {\hat{x}}_3^T\\ ⋮\\ {\hat{x}}_m^T\end{array}\right)\text{\hspace{1em}(式25)}$$

八、求解$\hat{w}$公式推导

知识准备：$\frac{\partial x^{T}a}{\partial x}=\frac{\partial a^{T}x}{\partial x}=a$，以及$\frac{\partial x^T\beta x}{\partial x}=(\beta +{\beta }^T)x$，这是必须的公式。
求解过程如下：
$$\frac{\partial E\hat{w}}{\partial \hat{w}}=\frac{\partial (-Y^{T}X\hat{w}-{\hat{w}}^T{X}^{T}Y+{\hat{w}}^T{X}^{T}X\hat{w})}{\partial \hat{w}}\text{\hspace{1em}(式26)}$$
展开有$(式26)等于$：
$$\begin{gathered} =\frac{-\partial (Y^{T}X\hat{w})}{\partial \hat{w}}-\frac{\partial ({\hat{w}}^T{X}^{T}Y)}{\partial \hat{w}}+\frac{\partial ({\hat{w}}^T{X}^{T}X\hat{w})}{\partial \hat{w}}=-X^{T}Y-X^{T}Y+(X^{T}X+X^{T}X)\hat{w}=2X^T(X\hat{w}-Y) \\ \text{\hspace{1em}(式27)} \end{gathered}$$
令一阶导数为令，就可以解出${\hat{w}}^{\ast }$;
$$\frac{\partial E\hat{w}}{\partial \hat{w}}=2X^T(X\hat{w}-Y)=0，也就是2X^{T}X\hat{w}=2X^{T}Y,最终得出{\hat{w}}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}Y。$$
至此，我们已经求出最优解。关于此处凸函数，和上面凸函数的证明，请参考下一篇博客。