线性代数——最小二乘法和投影矩阵

最小二乘法是统计学中重要的概念，这篇文章将讲解它拟合曲线的性质以及它与投影矩阵的联系

拿最小二乘法拟合直线来举例

将误差的平方和作为总误差，总误差最小时可求得最佳拟合直线

若设y为ax+b，分别对a和b求导，因为这种函数大多为凹函数，所以取偏导为0时有极值，这里不再展开。

这种求误差方式是从一维图像上求向量模的最小值，但我们可从高纬度来审视这种方法，先把y-yi列出来

ax₁+b=y₁-e₁

ax₂+b=y₂-e₂

ax₃+b=y₃-e₃

ax₄+b=y₄-e₄

行列式？那我们可以把它转换成矩阵

 

这不就是Ax=b吗，更准确的说y₁，y₂，y₃，y₄是我们的拟合对象，e₁，e₂，e₃，e₄是误差，这个公式是Ax=b-e

若Ax=b有解则e=0，此时的x就是我们所需的答案，但往往数据集要远超变量的数目，b在列空间之外，我们没法通过空间内的向量去拟合空间外的向量，所以我们要去拟合最接近b的向量，如果拿二维平面（列空间）和三位向量(b)来举例，最接近b的向量就是b在平面上的投影，此时e^2最小，它就是点到平面的最短距离的平方。

现在假设Ax-b垂直于列空间展开的平面,即Ax-b在A的零空间中，故A^T(Ax-b)=0

A^TAx=A^Tb—＞x=(A^TA)^-1*A^Tb

此时x中的系数即为最佳拟合系数，这种矩阵算法给计算机提供了一个快速计算系数的方法,但计算上还是可能出现问题，设Ax=0的解为x₁，则x₁也是A^TAx=0的解，同时A^TAx=0的解也是x^TA^TAx=0，（Ax）^2=0的解。所以rank（A）=rank（A^TA)，对m*n矩阵（n＞m）时以及A不可逆时，A^TA不可逆，也就是说没法直接求解。但A^TAx=A^Tb中的x必定存在，因为b的范围必在A^T的零空间和A列空间的线性组合中，设零空间向量x₀，b=Ax+x₀，A^Tb=A^TAx+A^Tx₀=A^TAx

 

转载于:https://www.cnblogs.com/matrixmlpforever/p/10963240.html