最小二乘法、加权最小二乘法——直线拟合

对多篇最小二乘法相关的资料的整合，如有错误，敬请指正！
原文地址1
原文地址2

线性回归

线性回归假设数据集中特征与结果存在着线性关系：
$$y=mx+c$$
y为结果，x为特征，m为系数，c为系数
我们需要找到m、c使得m*x+c得到的结果y与真实的y误差最小，这里使用平方差来衡量估计值与真实值得误差（如果只用差值就可能会存在负数)；用于计算真实值与预测值的误差的函数称为：平方损失函数（square loss function）；这里用L表示损失函数，所以有：
$$L_n=(y_n-(m{x}_n+c){)}^2$$
整个数据集上的平均损失为：
$$L=\frac{1}{N}\sum _{n=1}^N(y_n,f(x_n;c,m))$$

我们要求得最匹配的m与c使得L最小；数学表达式可以表示为：
$$\underset{m}{\arg }\underset{c}{\min }\frac{1}{N}\sum _{n=1}^N{L}_n(y_n;c,m)$$
最小二乘法用于求目标函数的最优解，它通过最小化误差的平方和寻找匹配项所以又称为：最小平方法；这里将用最小二乘法求得线性回归的最优解；

最小二乘法

数据集有1…N个数据组成，每个数据由{x,y}构成，x表示特征，y为实际结果；这里将线性回归模型定义为：
$$f(x;m,c)=mx+c$$
平均损失函数为：
$$\begin{array}{rl}L& =\frac{1}{N}\sum _{n=1}^N{L}_n(y_n,f(x_n;c,m))\\ & =\frac{1}{N}\sum _{n=1}^N(y_n-f(x_n;c,m){)}^2\\ & =\frac{1}{N}\sum _{n=1}^N(y_n-(c+m{x}_n){)}^2\\ & =\frac{1}{N}\sum _{n=1}^N(y_n-c-m{x}_n)(y_n-c-m{x}_n)\\ & =\frac{1}{N}\sum _{n=1}^N(y_n^2-2y_{n}c-2y_{n}mx+c^2+2cmx+m^2{x}_n^2)\\ & =\frac{1}{N}\sum _{n=1}^N(y_n^2-2y_{n}c+2mx(c-y_n)+c^2+m^2{x}_n^2)\end{array}$$

要使L最小，其关于c与m的偏导数为0，所以求偏导数，得出后让导数等于0，并对c与m求解便能得到最小的L，此时的c与m便是最匹配该模型的；

关于c的偏导数:

因为求得是关于c的偏导数，因此把L的等式中不包含c的项去掉，得到：
$$\frac{1}{N}\sum _{n=1}^N(c^2-2y_{n}c+2cm{x}_n)$$
整理式子把不包含下标n的往累加和外移得到：
$$c^2+2cm\frac{1}{N}(\sum _{n=1}^N{x}_n)-2c\frac{1}{N}(\sum _{n=1}^N{y}_n)$$
那么对c求偏导数得：
$$\frac{\partial L}{\partial c}=2c+2m\frac{1}{N}(\sum _{n=1}^N{x}_n)-\frac{2}{N}(\sum _{n=1}^N{y}_n)$$

关与m的偏导数:

因为求得是关于m的偏导数，因此把L的等式中不包含m的项去掉，得到：
$$\frac{1}{N}\sum _{n=1}^N(m^2{x}_n^2-2y_{n}m{x}_n+2cm{x}_n)$$
整理式子把不包含下标n的往累加和外移得到：
$$m_2\frac{1}{N}\sum _{n=1}^N(x_n^2)+2m\frac{1}{N}\sum _{n=1}^N{x}_n(c-y_n)$$
那么对m求偏导数得：
$$\frac{\partial L}{\partial m}=2m\frac{1}{N}\sum _{n=1}^N(x_n^2)+\frac{2}{N}\sum _{n=1}^N{x}_n(c-y_n)$$

求解m和c：

令关于c的偏导数等于0，求解：
$$2c+2m\frac{1}{N}(\sum _{n=1}^N{x}_n)-\frac{2}{N}(\sum _{n=1}^N{y}_n)=0$$

$$2c=\frac{2}{N}(\sum _{n=1}^N{y}_n)-2m\frac{1}{N}(\sum _{n=1}^N{x}_n)$$

$$c=\frac{1}{N}(\sum _{n=1}^N{y}_n)-m\frac{1}{N}(\sum _{n=1}^N{x}_n)$$

从上求解得到的值可以看出，上面式子中存在两个平均值：
$$\overline{x}=\frac{1}{N}(\sum _{n=1}^N{x}_n),\overline{y}=\frac{1}{N}(\sum _{n=1}^N{y}_n)$$
则：
$$c=\overline{y}-m\overline{x}$$
令关于m的偏导数等于0，求解：
$$2m\frac{1}{N}\sum _{n=1}^N(x_n^2)+\frac{2}{N}\sum _{n=1}^N{x}_n(c-y_n)=0$$
将c和平均值关系带入得：
$$m\frac{1}{N}\sum _{n=1}^N(x_n^2)+\frac{1}{N}\sum _{n=1}^N{x}_n(\overline{y}-m\overline{x}-y_n)=0$$

$$m(\frac{1}{N}\sum _{n=1}^N(x_n^2)-\frac{1}{N}\overline{x}\sum _{n=1}^N{x}_n)=\frac{1}{N}\sum _{n=1}^N(x_n{y}_n-x_n\overline{y})$$

令：
$$\overline{x^2}=\frac{1}{N}\sum _{n=1}^N(x_n^2),\overline{xy}=\frac{1}{N}\sum _{n=1}^N(x_n{y}_n)$$
则：
$$m=\frac{\overline{xy}-\overline{x}\overline{y}}{\overline{x^2}-{\overline{x}}^2}$$
至此，m与c都已计算出

加权最小二乘法：

前面所求解的一般最小二乘法将时间序列中的各项数据的重要性同等看待，而事实上时间序列各项数据对未来的影响作用应是不同的。一般来说，近期数据比起远期数据对未来的影响更大。因此比较合理的方法就是使用加权的方法，对近期数据赋以较大的权数，对远期数据则赋以较小的权数。加权最小二乘法采用指数权数W（0<W<1），加权以后求得的参数估计值应满足：
$$L_n=W_n(y_n-(m{x}_n+c){)}^2$$

$$L=\frac{1}{N}\sum _{n=1}^N{W}_n(y_n,f(x_n;c,m))$$

$$\underset{m}{\arg }\underset{c}{\min }\frac{1}{N}\sum _{n=1}^N{L}_n(y_n;c,m)=\underset{m}{\arg }\underset{c}{\min }\frac{1}{N}\sum _{n=1}^N{W}_n(y_n-(m{x}_n+c){)}^2$$

同理，平均损失函数为：
$$\begin{array}{rl}L& =\frac{1}{N}\sum _{n=1}^N{L}_n(y_n,f(x_n;c,m))\\ & =\frac{1}{N}\sum _{n=1}^N{W}_n(y_n-f(x_n;c,m){)}^2\\ & =\frac{1}{N}\sum _{n=1}^N{W}_n(y_n-(c+m{x}_n){)}^2\\ & =\frac{1}{N}\sum _{n=1}^N{W}_n(y_n-c-m{x}_n)(y_n-c-m{x}_n)\\ & =\frac{1}{N}\sum _{n=1}^N{W}_n(y_n^2-2y_{n}c-2y_{n}mx+c^2+2cmx+m^2{x}_n^2)\\ & =\frac{1}{N}\sum _{n=1}^N{W}_n(y_n^2-2y_{n}c+2mx(c-y_n)+c^2+m^2{x}_n^2)\end{array}$$

要使L最小，其关于c与m的偏导数为0，所以求偏导数，得出后让导数等于0，并对c与m求解便能得到最小的L，此时的c与m便是最匹配该模型的；

关于c的偏导数:

因为求得是关于c的偏导数，因此把L的等式中不包含c的项去掉，得到：
$$\frac{1}{N}\sum _{n=1}^N{W}_n(c^2-2y_{n}c+2cm{x}_n)$$
整理式子把不包含下标n的往累加和外移得到：
$$c^2\frac{1}{N}\sum _{n=1}^N{W}_n+2cm\frac{1}{N}(\sum _{n=1}^N{W}_n{x}_n)-2c\frac{1}{N}(\sum _{n=1}^N{W}_n{y}_n)$$
那么对c求偏导数得：
$$\frac{\partial L}{\partial c}=2c\frac{1}{N}\sum _{n=1}^N{W}_n+2m\frac{1}{N}(\sum _{n=1}^N{W}_n{x}_n)-\frac{2}{N}(\sum _{n=1}^N{W}_n{y}_n)$$

关与m的偏导数:

因为求得是关于m的偏导数，因此把L的等式中不包含m的项去掉，得到：
$$\frac{1}{N}\sum _{n=1}^N{W}_n(m^2{x}_n^2-2y_{n}m{x}_n+2cm{x}_n)$$
整理式子把不包含下标n的往累加和外移得到：
$$m^2\frac{1}{N}\sum _{n=1}^N(W_n{x}_n^2)+2m\frac{1}{N}\sum _{n=1}^N{W}_n{x}_n(c-y_n)$$
那么对m求偏导数得：
$$\frac{\partial L}{\partial m}=2m\frac{1}{N}\sum _{n=1}^N(W_n{x}_n^2)+\frac{2}{N}\sum _{n=1}^N{W}_n{x}_n(c-y_n)$$

求解m和c：

令关于c的偏导数等于0，求解：
$$2c\frac{1}{N}\sum _{n=1}^N{W}_n+2m\frac{1}{N}(\sum _{n=1}^N{W}_n{x}_n)-\frac{2}{N}(\sum _{n=1}^N{W}_n{y}_n)=0$$

$$2c=\frac{\frac{2}{N}({\sum }_{n=1}^N{W}_n{y}_n)-2m(\frac{1}{N}{\sum }_{n=1}^N{W}_n{x}_n)}{\frac{1}{N}{\sum }_{n=1}^N{W}_n}$$

$$c=\frac{\frac{1}{N}({\sum }_{n=1}^N{W}_n{y}_n)-m(\frac{1}{N}{\sum }_{n=1}^N{W}_n{x}_n)}{\frac{1}{N}{\sum }_{n=1}^N{W}_n}$$

令关于m的偏导数等于0，求解：
$$2m\frac{1}{N}\sum _{n=1}^N(W_n{x}_n^2)+\frac{2}{N}\sum _{n=1}^N{W}_n{x}_n(c-y_n)=0$$
将c和平均值关系带入得：
$$2m\frac{1}{N}\sum _{n=1}^N(W_n{x}_n^2)+\frac{2}{N}\sum _{n=1}^N{W}_n{x}_n(\frac{\frac{1}{N}({\sum }_{n=1}^N{W}_n{y}_n)-m\frac{1}{N}({\sum }_{n=1}^N{W}_n{x}_n)}{\frac{1}{N}{\sum }_{n=1}^N{W}_n}-y_n)=0$$

$$m=\frac{(\frac{1}{N}{\sum }_{n=1}^N{W}_n{x}_n{y}_n)\ast (\frac{1}{N}{\sum }_{n=1}^N{W}_n)-(\frac{1}{N}{\sum }_{n=1}^N{W}_n{x}_n)\ast (\frac{1}{N}{\sum }_{n=1}^N{W}_n{y}_n)}{(\frac{1}{N}{\sum }_{n=1}^N{W}_n{x}_n^2)\ast (\frac{1}{N}{\sum }_{n=1}^N{W}_n)-(\frac{1}{N}{\sum }_{n=1}^N{W}_n{x}_n)\ast (\frac{1}{N}{\sum }_{n=1}^N{W}_n{y}_n)}$$

至此，m与c都已计算出

矩阵推导部分

一个n×n的矩阵A的迹是指A的主对角线上各元素的总和，记作tr(A)。即
$$tr(A)=\sum _{i=1}^n{a}_{ii}$$

• 定理一：tr(AB)=tr(BA)

证明：
$$tr(AB)=\sum _{i=1}^n(AB{)}_{ii}=\sum _{i=1}^n\sum _{j=1}^m{a}_{ij}{b}_{ji}=\sum _{j=1}^m\sum _{i=1}^n{b}_{ji}{a}_{ij}=\sum _{j=1}^m(BA{)}_{jj}=tr(BA)$$

• 定理二：
  $$tr(ABC)=tr(CAB)=tr(BCA)$$

• 定理三：

$$\frac{\partial tr(AB)}{\partial A}=\frac{\partial tr(BA)}{\partial A}=B^T$$

其中A是m×n的矩阵，B是n×m的矩阵
$$tr(AB)=tr\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)\left(\begin{array}{cccc}{b}_{11}& b_{12}& \cdots & b_{1m}\\ b_{21}& b_{22}& \cdots & b_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ b_{n1}& b_{n2}& \cdots & b_{nm}\end{array}\right)$$
只考虑对角线上的元素，那么有
$$tr(AB)=\sum _{i=1}^n{a}_{1i}{b}_{i1}+\sum _{i=1}^n{a}_{2i}{b}_{i2}+\dots +\sum _{i=1}^n{a}_{mi}{b}_{im}=\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}{b}_{ji}$$

$$\frac{\partial tr(AB)}{\partial a_{ij}}=b_{ij}\Rightarrow \frac{\partial tr(AB)}{\partial A}=B^T$$

• 定理四：

$$\frac{\partial tr(A^{T}B)}{\partial A}=\frac{\partial tr(B{A}^T)}{\partial A}=B$$

证明：
$$\frac{\partial tr(A^{T}B)}{\partial A}=\frac{\partial tr((A^{T}B{)}^T)}{\partial A}=\frac{\partial tr(B^{T}A)}{\partial A}=\frac{\partial tr(A{B}^T)}{\partial A}=(B^T{)}^T=B$$

• 定理五：

$$tr(A)=tr(A^T)$$

• 定理六：如果a是实数，那么有tr(a)=a
• 定理七：

$$\frac{\partial tr(AB{A}^{T}C)}{\partial A}=CAB+C^{T}A{B}^T$$

证明：
$$\frac{\partial tr(AB{A}^{T}C)}{\partial A}=\frac{\partial tr(AB{A}^{T}C)}{\partial A}+\frac{\partial tr(A^{T}CAB)}{\partial A}=(B{A}^{T}C{)}^T+CAB=C^{T}A{B}^T+CAB$$

最小二乘法矩阵推导：

设:
$$x=\left(\begin{array}{cccc}{x}_0^{(1)}& x_0^{(2)}& \cdots & x_0^{(m)}\\ x_1^{(1)}& x_1^{(2)}& & x_1^{(m)}\\ & & \cdots & \\ ⋮& ⋮& & ⋮\\ & & \ddots & \\ x_n^{(1)}& x_n^{(2)}& & x_n^{(m)}\\ & & \cdots & \end{array}\right)\theta =\left(\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right)X=x^{T}Y=\left(\begin{array}{c}{y}^{(1)}\\ y(2)\\ ⋮\\ y_{(m)}\end{array}\right)$$
其中x的每一列表示一组特征值，共n个，每一行表示有m组数据，θ表示每一个特征值的系数，X表示特征矩阵，Y表示实际的结果值。

则：
$$X\theta -Y=\left(\begin{array}{c}{\sum }_{i=0}^n{x}_i^{(1)}{\theta }_i-y^{(1)}\\ {\sum }_{i=0}^n{x}_i^{(2)}{\theta }_i-y^{(2)}\\ ⋮\\ {\sum }_{i=0}^n{x}_i^{(m)}{\theta }_i-y^{(m)}\end{array}\right)=\left(\begin{array}{c}{h}_{\theta }(x^{(1)})-y^{(1)}\\ h_{\theta }(x^{(2)})-y^{(2)}\\ ⋮\\ h_{\theta }(x^{(m)})-y^{(m)}\end{array}\right)$$
目标函数：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2=\frac{1}{2}tr[(X\theta -Y{)}^T(X\theta -Y)]$$
使目标函数最小，得到的θ就是最匹配的解，对目标函数求导：
$$\begin{array}{rl}\frac{\partial J(\theta )}{\partial \theta }& =\frac{1}{2}\frac{\partial tr({\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}Y-Y^{T}X\theta +Y^{T}Y)}{\partial \theta }\\ & =\frac{1}{2}[\frac{\partial tr({\theta }^T{X}^{T}X\theta )}{\partial \theta }-\frac{\partial tr({\theta }^T{X}^{T}Y)}{\partial \theta }-\frac{\partial tr(Y^{T}X\theta )}{\partial \theta }]\\ & =\frac{1}{2}[X^{T}X\theta +X^{T}X\theta -X^{T}Y-X^{T}Y]\\ & =X^{T}X\theta -X^{T}Y\end{array}$$
令导数等于0求解：
$$\begin{gathered} X^{T}X\theta -X^{T}Y=0 \\ \theta =(X^{T}X{)}^{-1}{X}^{T}Y \end{gathered}$$

加权最小二乘法矩阵推导：

加权矩阵：
$$W=\left(\begin{array}{ccccc}{w}_1& 0& 0& \cdots & 0\\ 0& w_2& 0& \cdots & 0\\ 0& 0& w_3& \cdots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & w_m\end{array}\right)$$
W为m×m的矩阵，此时目标函数为：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m{w}_i(h_{\theta }(x^{(i)})-y^{(i)}{)}^2=\frac{1}{2}tr[(X\theta -Y{)}^{T}W(X\theta -Y)]$$
同理，使目标函数最小，得到的θ就是最匹配的解，对目标函数求导：
$$\begin{array}{rl}\frac{\partial J(\theta )}{\partial \theta }& =\frac{1}{2}\frac{\partial tr({\theta }^T{X}^{T}WX\theta -{\theta }^T{X}^{T}WY-Y^{T}WX\theta +Y^{T}WY)}{\partial \theta }\\ & =\frac{1}{2}[\frac{\partial tr({\theta }^T{X}^{T}WX\theta )}{\partial \theta }-\frac{\partial tr({\theta }^T{X}^{T}WY)}{\partial \theta }-\frac{\partial tr(Y^{T}WX\theta )}{\partial \theta }]\\ & =\frac{1}{2}[X^{T}WX\theta +X^T{W}^{T}X\theta -X^{T}WY-X^T{W}^{T}Y]\end{array}$$
又因为W是对角阵：
$$\begin{array}{rl}\frac{\partial J(\theta )}{\partial \theta }& =\frac{1}{2}[X^{T}WX\theta +X^T{W}^{T}X\theta -X^{T}WY-X^T{W}^{T}Y]\\ & =\frac{1}{2}[X^{T}WX\theta +X^{T}WX\theta -X^{T}WY-X^{T}WY]\\ & =X^{T}WX\theta -X^{T}WY\end{array}$$
令导数等于0求解：
$$\begin{gathered} X^{T}WX\theta -X^{T}WY=0 \\ \theta =(X^{T}WX{)}^{-1}{X}^{T}WY \end{gathered}$$