最小二乘法的思想及其实现过程
在做故障诊断、预测和估计这类问题中经常需要用到滤波估计法,我也经常遇到,于是在这里我要开始讲一个滤波的故事了。
1801年,意大利天文学家Ginseppe Piazzi发现了谷神星,但是观察了41天后,又找不到谷神星了。于是伟大的数学家Carl Friedrich(高斯,1777-1855)开始着手预测谷神星的轨道,直到1809年,高斯出版了以太阳为焦点的圆锥截面的天体运动理论《Theory of the Motion of Heavenly Bodies Moving about the Sun in Conic Sections》,最重要的是提出了滤波估计的祖先——最小二乘。
下面参考W.Demmel的《Applied Numerical Linear Algebra》给出最小二乘的主要思想。
最小二乘法
最小二乘法最初被提出主要是解决 m i n ∣ ∣ A x − b ∣ ∣ min||Ax-b|| min∣∣Ax−b∣∣的问题,其中 x x x可以看成一串特征, b b b看成输出值,我们希望找到特征和输出值的一种线性关系,使 x x x被操作输出的值与 b b b尽可能接近。
如果上述关系不是线性关系的问题后来称为非线性最小二乘问题,可以用Guass-Newton算法和Levenberg-Marquardt算法进行迭代求解,这篇先不讲。
最小二乘的几何含义
直接将 m i n ∣ ∣ A x − b ∣ ∣ min||Ax-b|| min∣∣Ax−b∣∣用几何含义表示成下图:
A x Ax Ax是 A A A的值域空间, b − A x b-Ax b−Ax最小的时候就是 A x Ax Ax是 b b b在 R ( A ) R(A) R(A)上的正交投影时,知道了这一点就可以证明下面这个定理。
定理1 m i n ∣ ∣ A x − b ∣ ∣ min||Ax-b|| min∣∣Ax−b∣∣有解当且仅当 A T A x = A T b A^{T}Ax=A^{T}b ATAx=ATb成立; m i n ∣ ∣ A x − b ∣ ∣ min||Ax-b|| min∣∣Ax−b∣∣有唯一解,当且仅当 A T A A^{T}A ATA满秩。
证明 m