最小二乘法 ——白板推导系列（第三节）

最小二乘法及其几何意义

最小二乘法介绍

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小 。
最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
假设有N个样本点$X=(x_1,x_2,\dots ,x_N{)}^T$, $x_i$是$p$维向量, 相应的观测数据$Y=(y_1,y_2,\dots ,y_N{)}^T$，则我们需要通过这N个样本点来拟合出一个线性函数$y=w^{T}x$,构建损失函数$L(w)={\sum }_{i=1}^N||y_i-w^T{x}_i|{|}^2$，也就是要拟合出权重参数$w$使得损失函数$L(w)$达到最小。
简化
$$\begin{array}{rl}L(w)& =\left(\begin{array}{cccc}{y}_1-w^T{x}_1& y_2-w^T{x}_2& \dots & y_N-w^T{x}_N\end{array}\right)\left(\begin{array}{c}{y}_1-w^T{x}_1\\ y_2-w^T{x}_2\\ ⋮\\ y_N-w^T{x}_N\end{array}\right)\\ & =(Y^T-w^T{X}^T)(Y-Xw)\\ & =Y^{T}Y-w^T{X}^{T}Y-Y^{T}Xw+w^T{X}^{T}Xw(w^T{X}^{T}Y和Y^{T}Xw是秩一矩阵，相等)\\ & =Y^{T}Y-2w^T{X}^{T}Y+w^T{X}^{T}Xw\end{array}$$
所以，
$$\begin{array}{rl}\frac{\partial L(w)}{\partial w}& =2X^{T}Xw-2X^{T}Y=0\end{array}$$
由此便得到$w=(X^{T}X{)}^{-1}{X}^{T}Y$,其中$(X^{T}X{)}^{-1}{X}^T$称为$X$的伪逆。

最小二乘法的几何意义

  这部分内容仅供辅助理解，因为$f(x)=w^{T}x=x^T\beta$(此时$x$是单个样本，$p\ast 1$维的列向量)，所以$Y-X\beta$（这里的$X$是数据矩阵）应该垂直于$X$空间里的所有向量,即$X^T(Y-X\beta )=0$，所以$\beta =(X^{T}X{)}^{-1}{X}^T$,得到了从代数角度出发同样的结果（ps：因为$w^{T}x$和$x^T\beta$是一个实数，所以$x^T\beta ={\beta }^{T}x$）

最小二乘法和极大似然估计的联系

先做一个假设，假设$f(x)=w^{T}x+ϵ$, $ϵ\sim N(0,{\sigma }^2)$,所以$f(x)\sim N(w^{T}x,{\sigma }^2)$。
所以利用极大似然有
$$\begin{array}{rl}w& =\underset{w}{\mathrm{argmax}}\prod _{i=1}p(y_i|x_i;w)\\ & =\underset{w}{\mathrm{argmax}}\sum _{i=1}\log (p(y_i|x_i;w))\\ & =\underset{w}{\mathrm{argmax}}\sum _{i=1}[-\log \sqrt{2\pi }\sigma -\frac{\Vert y_i-w^T{x}_i{\Vert }^2}{2{\sigma }^2}]\\ & =\underset{w}{\mathrm{argmin}}\sum _{i=1}[\log \sqrt{2\pi }\sigma +\frac{\Vert y_i-w^T{x}_i{\Vert }^2}{2{\sigma }^2}]\\ & =\underset{w}{\mathrm{argmin}}\Vert y_i-w^T{x}_i{\Vert }^2\end{array}$$
这样就得到了与前面一致的结论，所以我们可以说最小二乘法是相当于用极大似然估计求噪声为高斯分布的的线性模型。