![9d318eeb6974797b346477ccff3e5c30.png](https://i-blog.csdnimg.cn/blog_migrate/a491049548f2e80edb16fc91e5d95033.jpeg)
「跟我一起机器学习系列文章将首发于公众号:月来客栈,欢迎搜索关注!」
❝ 「神说,要有正态分布,就有了正态分布。」 「神看正态分布是好的,就让随机误差服从了正态分布。」 「— 创世纪—数理统计」
❞
「一个问题的出现」
故事发生的时间是 18 世纪中到 19 世纪初。17、18 世纪是科学发展的黄金年代,微积分的发展和牛顿万有引力定律的建立,直接的推动了天文学和测地学的迅猛发展。这些天文学和测地学的问题,无不涉及到数据的多次测量、分析与计算。很多年以前,学者们就已经经验性的认为,对于有误差的测量数据,「多次测量取算术平均是比较好的处理方法」,并且这种做法现在我们依旧在使用。虽然当时缺乏理论上的论证,且也不断的受到一些人的质疑,但取算术平均作为一种直观的方式,已经被使用了千百年。 在多年积累的数据的处理经验中也得到相当程度的验证,被认为是一种良好的数据处理方法,但是在当时没人能给出为什么。
1805年,勒让德提出了一种方法来解决这个问题,基本思想就是认为测量中有误差,且让所有方程的累积误差为
可以看出勒让德给出的方法其实就是「最小二乘法(Least Square)」,且通过对