一元（多元）线性回归推导

一元线性回归

设模型为一元线性函数：
$y=w_{1}x+w_0$
现有样本：$(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)$， 用于拟合这个一元线性函数，得到 $w_1^{\ast },w_0^{\ast }$。

${\hat{y}}_i$ 为拟合后的预测值，指定 差平方 为 损失函数 $L(w_1^{\ast },w_0^{\ast })$，要使得其最小，从而得到 $w_1^{\ast },w_0^{\ast }$，所以有目标：
$$\underset{w_1^{\ast },w_0^{\ast }}{\mathrm{argmin}}L(w_1^{\ast },w_0^{\ast })$$
$$L(w_1^{\ast },w_0^{\ast })=\sum _{i=1}^n({\hat{y}}_i-y_i{)}^2\text{\hspace{1em}(1)}$$
$${\hat{y}}_i=w_1^{\ast }{x}_i+w_0^{\ast }\text{\hspace{1em}(2)}$$

结合 (1)(2)式， 有：

$$\begin{array}{rl}L& =\sum _{i=1}^n(w_1^{\ast }{x}_i+w_0^{\ast }-y_i{)}^2\\ & =\sum _{i=1}^n((w_1^{\ast }{x}_i{)}^2+{w_0^{\ast }}^2+{y_i}^2+2w_1{w}_0^{\ast }{x}_i-2w_1^{\ast }{y}_i{x}_i-2w_0^{\ast }{y}_i)\end{array}\text{\hspace{1em}(3)}$$

于 (3)式 分别对 $w_1^{\ast },w_0^{\ast }$ 求偏导，有：
$$\begin{array}{rl}\frac{\partial L}{\partial w_0^{\ast }}& =\sum _{i=1}^n(2w_0^{\ast }+2w_1^{\ast }{x}_i+2y_i)=2n{w}_0+2w_1^{\ast }\sum _{i=1}^n{x}_i-2\sum _{i=1}^n{y}_i\\ \frac{\partial L}{\partial w_1^{\ast }}& =\sum _{i=1}^n(2x_i^2{w}_1+2x_i{w}_0-2x_i{y}_i)=2w_1\sum _{i=1}^n{x}_i^2+2w_0\sum _{i=1}^n{x}_i-2\sum _{i=1}^n{x}_i{y}_i\end{array}$$

令上式偏导等于 0：
$$\{\begin{array}{rl}n{w}_0+w_1^{\ast }\sum _{i=1}^n{x}_i-\sum _{i=1}^n{y}_i& =0\\ w_1\sum _{i=1}^n{x}_i^2+w_0\sum _{i=1}^n{x}_i-\sum _{i=1}^n{x}_i{y}_i& =0\end{array}\text{\hspace{1em}(4)}$$

求解方程组(4)，得：
$$\{\begin{array}{rl}{w}_0& =\frac{{\sum }_{i=1}^n{y}_i-w_1{\sum }_{i=1}^n{x}_i}{n}\\ w_1& =\frac{{\sum }_{i=1}^n{x}_i{y}_i-w_0{\sum }_{i=1}^n{x}_i}{{\sum }_{i=1}^n{x}_i^2}\end{array}\text{\hspace{1em}(5)}$$

方程组(5) 相互代入可得：
$$\{\begin{array}{rl}{w}_0& =\frac{{\sum }_{i=1}^n{y}_i-\frac{{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i{y}_i}{({\sum }_{i=1}^n{x}_i{)}^2}}{n-\frac{({\sum }_{i=1}^n{x}_i{)}^2}{{\sum }_{i=1}^n{x}_i^2}}\\ w_1& =\frac{{\sum }_{i=1}^n{x}_i{y}_i-w_0{\sum }_{i=1}^n{x}_i}{{\sum }_{i=1}^n{x}_i^2-\frac{{({\sum }_{i=1}^n{x}_i)}^2}{n}}\end{array}\text{\hspace{1em}(6)}$$
于 (6)式 求出 $w_1$， 就可以带入 方程组(5) 直接计算 $w_0$。

多元线性回归（最小二乘法）

以上方法类推到 $w_2,w_3,\cdots$，就可以得到多元线性回归的解。
但是这样挨个挨个推导着实麻烦。

若直接有多元函数：
$$y=\mathbf{x}\mathbf{w}$$
其中，$\mathbf{w}=[w_1,w_2,\dots ,w_n{]}^{\mathrm{T}},\mathbf{x}=[x_1,x_2,\dots ,x_n],x_1=1$。
因为直接将函数的常数项视作变量，所以 $x_1=1$。

那么现在有多元线性回归的推导：
$\hat{\mathbf{w}}$ 为求得的系数向量，$\mathbf{y}=[y_1,y_2,\dots ,y_n{]}^{\mathrm{T}}$ ，$\mathbf{X}=[{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_n{]}^{\mathrm{T}}$，指定损失函数：
$$L(\hat{\mathbf{w}})=\Vert \mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{\Vert }_2^2$$
有求解目标：
$$\underset{\mathbf{w}}{\mathrm{argmin}}\Vert \mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{\Vert }_2^2$$
$$\begin{array}{rl}\Vert \mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{\Vert }_2^2& =(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\\ & =({\mathbf{y}}^{\mathrm{T}}-{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}})(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\\ & ={\mathbf{y}}^{\mathrm{T}}\mathbf{y}+{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-{\hat{\mathbf{w}}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}-{\mathbf{y}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}\end{array}$$

有矩阵求导公式：
$$\begin{array}{rl}\frac{\mathrm{d}{\mathbf{x}}^{\mathrm{T}}\mathbf{A}\mathbf{x}}{\mathrm{d}\mathbf{x}}& =(\mathbf{A}+{\mathbf{A}}^{\mathrm{T}})\mathbf{x}\\ \frac{\mathrm{d}{\mathbf{x}}^{\mathrm{T}}\mathbf{A}}{\mathrm{d}\mathbf{x}}& =\mathbf{A}\\ \frac{\mathrm{d}\mathbf{A}\mathbf{x}}{\mathrm{d}\mathbf{x}}& ={\mathbf{A}}^{\mathrm{T}}\end{array}$$

对 $L(\hat{\mathbf{w}})$ 求导：
$$\begin{gathered} \frac{\partial L(\hat{\mathbf{w}})}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-{\mathbf{X}}^{\mathrm{T}}\mathbf{y}-{\mathbf{X}}^{\mathrm{T}}\mathbf{y} \\ =2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\hat{\mathbf{w}}-2{\mathbf{X}}^{\mathrm{T}}\mathbf{y} \end{gathered}$$
为求极值，令导数等于 0，可得
$$\hat{\mathbf{w}}=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}$$