模式分类笔记 -- 最小二乘法

根据解的存在情况，线性方程 Ax=b 可以分为恰定方程组 （有唯一解），超定方程组 （解不存在）， 和欠定方程组 （有无穷多解）。这个问题从线性空间的角度去分析，可以看成矢量b在A张成的线性空间的投影问题。 一个形象的解释是，已知不重合的两个点，要求过这两点的一条直线，那么我们可以唯一的确定这条直线。如果给定三个点，且这三个点正好在一个直线上，这条直线仍然可以唯一确定，如果三点不在同一直线，这就是超定问题。最后，如果只给定一个点，显然是欠定问题。在实验数据处理和曲线拟合(curve fitting)问题中，求解超定方程组非常普遍。比较常用的方法是最小二乘法(least squares)。形象点，就是在无法完全满足给定的这些条件的情况下，求一个最接近的解。

 

天文学从古代到18世纪是应用数学中最发达的领域，观测和数学天文学给出了建立数学模型及数据拟合的最初例子，在此种意义下，天文学家就是最初的数理统计学家。天文学的问题逐渐引导到算术平均，以及参数模型中的种种估计方法，已最小二乘法为顶峰。这段话可以看出一丝数学发展的脉络，有源之水，才不断流动。

 

A.M.Legendre(勒让德)在考虑误差整体上平衡的基础上，从解方程的角度发明了最小二乘法，先前的前辈们都致力于找出几个方程（个数等于未知数个数）再去求解。从某种意义讲，最小二乘法是一个处理观测值的纯粹代数方法。要将其应用于统计推断问题就需要考虑观测值的误差，确定误差分布的函数形式 。（在这里还是纯粹代数方法）。勒让德的推导过程比较好找也比较好理解，就不写在这里了。

 

 

高斯的最小二乘法理论发表与他导出正态误差分布时，其实现在看来最小二乘法很平常，但是当时天文学家可能并不相信统计平均，maybe一个更“合理”的观测值更有意义。

 

其实我对于高斯如何导出误差正态分布(把正态分布引入到误差分布)更有兴趣，经过多方的查找，更新了下以前的一篇文章，写在那里更合标题吧。