本文介绍了最小二乘法的起源，及其在天体运动预测中的应用。探讨了最小二乘法的几何含义，证明了当ATA满秩时存在唯一解。讨论了最小二乘法在逻辑回归和自回归时间序列模型中的应用，将其转化为求解线性问题，并提及使用QR分解降低条件数的方法。
最小二乘法的思想及其实现过程
在做故障诊断、预测和估计这类问题中经常需要用到滤波估计法，我也经常遇到，于是在这里我要开始讲一个滤波的故事了。
1801年，意大利天文学家Ginseppe Piazzi发现了谷神星，但是观察了41天后，又找不到谷神星了。于是伟大的数学家Carl Friedrich（高斯，1777-1855）开始着手预测谷神星的轨道，直到1809年，高斯出版了以太阳为焦点的圆锥截面的天体运动理论《Theory of the Motion of Heavenly Bodies Moving about the Sun in Conic Sections》，最重要的是提出了滤波估计的祖先——最小二乘。
下面参考W.Demmel的《Applied Numerical Linear Algebra》给出最小二乘的主要思想。
最小二乘法
最小二乘法最初被提出主要是解决 m i n ∣ ∣ A x − b ∣ ∣ min||Ax-b|| min∣∣Ax−b∣∣的问题，其中 x x x可以看成一串特征， b b b看成输出值，我们希望找到特征和输出值的一种线性关系，使 x x x被操作输出的值与 b b b尽可能接近。
如果上述关系不是线性关系的问题后来称为非线性最小二乘问题，可以用Guass-Newton算法和Levenberg-Marquardt算法进行迭代求解，这篇先不讲。
最小二乘的几何含义
直接将 m i n ∣ ∣ A x − b ∣ ∣ min||Ax-b|| min∣∣Ax−b∣∣用几何含义表示成下图：
A x Ax Ax是 A A A的值域空间， b − A x b-Ax b−Ax最小的时候就是 A x Ax Ax是 b b b在 R ( A ) R(A) R(A)上的正交投影时，知道了这一点就可以证明下面这个定理。
定理1 m i n ∣ ∣ A x − b ∣ ∣ min||Ax-b|| min∣∣Ax−b∣∣有解当且仅当 A T A x = A T b A^{T}Ax=A^{T}b ATAx=ATb成立； m i n ∣ ∣ A x − b ∣ ∣ min||Ax-b|| min∣∣Ax−b∣∣有唯一解，当且仅当 A T A A^{T}A ATA满秩。
证明 m i
最低0.47元/天 解锁文章
16万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
