最小二乘法

    太久没有推导公式了，最近在看文献的时候好多数学知识都忘了，准备平时多写几篇博文，记录一下这些数学基础理论。

最小二乘法的定义：

　所谓的最小二乘法（generalized least squares）是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。 最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。 最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。

　　比如从最简单的一次函数y=kx+b讲起已知坐标轴上有些点(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求经过这些点的图象的一次函数关系式。当然这条直线不可能经过每一个点,我们只要做到5个点到这条直线的距离的平方和最小即可,这这就需要用到最小二乘法的思想.然后就用线性拟合来求。一般只用于建模。

示例：

某次实验得到了四个数据点 {\displaystyle (x,y)}：{\displaystyle (1,6)}、{\displaystyle (2,5)}、{\displaystyle (3,7)}、{\displaystyle (4,10)}（右图中红色的点）。我们希望找出一条和这四个点最匹配的直线 {\displaystyle y=\beta _{1}+\beta _{2}x}，即找出在某种“最佳情况”下能够大致符合如下超定线性方程组的 {\displaystyle \beta _{1}} 和 {\displaystyle \beta _{2}}：

{\displaystyle {\begin{alignedat}{4}\beta _{1}+1\beta _{2}&&\;=\;&&6&\\\beta _{1}+2\beta _{2}&&\;=\;&&5&\\\beta _{1}+3\beta _{2}&&\;=\;&&7&\\\beta _{1}+4\beta _{2}&&\;=\;&&10&\\\end{alignedat}}}

最小二乘法采用的手段是尽量使得等号两边的方差最小，也就是找出这个函数的最小值：

{\displaystyle {\begin{aligned}S(\beta _{1},\beta _{2})=&\left[6-(\beta _{1}+1\beta _{2})\right]^{2}+\left[5-(\beta _{1}+2\beta _{2})\right]^{2}\\&+\left[7-(\beta _{1}+3\beta _{2})\right]^{2}+\left[10-(\beta _{1}+4\beta _{2})\right]^{2}.\\\end{aligned}}}