1.背景
1801年,意大利天文学家
朱赛普·皮亚齐发现了第一颗小
行星
谷神星。经过40天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的
高斯也计算了谷神星的轨道。
奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。
法国科学家
勒让德于1806年独立发明“最小二乘法”,但因不为世人所知而默默无闻。
勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。
1829年,高斯提供了最小二乘法的优化效果强于其他方法的证明,因此被称为高斯-马尔可夫定理。(来自于wikipedia)
2.原理
在我们研究两个变量(x,y)之间的相互关系时,通常可以得到一系列成对的x,y之间的关系数据((x1,y1),(x2,y2)......(xn,yn));将这些数据描绘在直角坐标系中,若发现这些点在一条直线附近,可以令这条直线方程如(式1-1)。
![](https://i-blog.csdnimg.cn/blog_migrate/d196ae21979a9c571071544f4b031504.png)
其中:a0、a1 是任意实数
为建立这直线方程就要确定a0和a1,应用《最小二乘法原理》,将实测值Yi与利用计算值Yj(Yj=a0+a1X)(式1-1)的离差(Yi-Yj)的平方和
最小为“优化判据”。
![](https://i-blog.csdnimg.cn/blog_migrate/9d3b540e5195cfdc0f34db24bb51eec6.png)
令:φ =
(式1-2)
![](https://i-blog.csdnimg.cn/blog_migrate/9d3b540e5195cfdc0f34db24bb51eec6.png)
把(式1-1)代入(式1-2)中得:
φ =
(式1-3)
![](https://i-blog.csdnimg.cn/blog_migrate/fa34b5a96da5def03dedcbb1471f8b21.png)
当
最小时,可用函数 φ 对a0、a1求偏导数,令这两个
偏导数等于零。
![](https://i-blog.csdnimg.cn/blog_migrate/9d3b540e5195cfdc0f34db24bb51eec6.png)
∑(a0 + a1*Xi - Yi)=0(式1-4)
∑Xi(a0 + a1*Xi - Yi)=0(式1-5)
亦即:
na0 + (∑Xi ) a1 = ∑Yi (式1-6)
(∑Xi ) a0 + (∑Xi^2 ) a1 = ∑(Xi*Yi) (式1-7)
得到的两个关于a0、 a1为未知数的两个方程组,解这两个方程组得出:
a0 = (∑Yi) / n - a1(∑Xi) / n (式1-8)
a1 = [n∑(Xi Yi) - (∑Xi ∑Yi)] / [n∑(Xi^2) - (∑Xi)^2 )] (式1-9)
这时把a0、a1代入(式1-1)中, 此时的(式1-1)就是我们回归的一元线性方程即:数学模型。
在回归过程中,回归的关联式不可能全部通过每个回归数据点(x1,y1. x2,y2...xm,ym),为了判断关联式的好坏,可借助
相关系数“R”,
统计量“F”,剩余标准偏差“S”进行判断;“R”越趋近于 1 越好;“F”的绝对值越大越好;“S”越趋近于 0 越好。
R = [∑XiYi - m (∑Xi / m)(∑Yi / m)]/ SQR{[∑Xi2 - m (∑Xi / m)2][∑Yi2 - m (∑Yi / m)2]} (式1-10) *
在(式1-10)中,m为
样本容量,即实验次数;Xi、Yi分别为任意一组实验数据X、Y的数值。