最小二乘法数学原理和newlisp实现

最小二乘法

1 英文名称

least square method

2 用途

最小二乘法（又称最小平方法）是一种数学优化技术。通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

3 原理

最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点 与估计点的距离的平方和达到最小。从这个上也可以看出，最小二乘也可用于拟合数据模型。

• 这当中涉及到如下问题
  • 观测点和距离点的距离
    这个距离也被称为误差。既然要估计，总希望找到最好的估计值，那么误差越小越好。
  • 为什么是距离的平方和
    平方和是为了防止负数造成的干扰，距离的平方和也就是误差的平方和
    
  • 为什么平方求解方便呢 那就要从公式讲起。参考下面一节。

4 公式

如果期望的拟合直线方程是 y = ax + b, 和真实观测点  yi y i  的距离就是  di=yi−(axi+b) d i = y i − ( a x i + b ) , 每个模拟点和观测点的距离的平方和公式就是

∑i=1nd2i=∑i=1n(yi−(axi+b))2(39) (39) ∑ i = 1 n d i 2 = ∑ i = 1 n ( y i − ( a x i + b ) ) 2

要计算出a和b的值，使得这个平方和的值要最小。 由于观测点都是已知，因此  xi x i  和  yi y i  都是已知,而a和b才是自变量，此时上面的函数可以看作是a和b为自变量的二元函数 f(a,b), 问题转换成求f(a,b)的最小值问题

f(a,b)=∑i=1n(y2i−2yi(axi+b)+(axi)2+b)(40) (40) f ( a , b ) = ∑ i = 1 n ( y i 2 − 2 y i ( a x i + b ) + ( a x i ) 2 + b )

二元函数极值的一般计算方法参考11.5

4.1 最小二乘法的a和b的计算公式

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪