python 最小二乘法_普通最小二乘法的简单推导

最新推荐文章于 2024-03-18 11:58:42 发布

weixin_39893893

最新推荐文章于 2024-03-18 11:58:42 发布

阅读量203

点赞数

文章标签： python 最小二乘法

本文链接：https://blog.csdn.net/weixin_39893893/article/details/111617850

版权

最小二乘法是统计学中十分重要的一种方法，而普通最小二乘法(ordinary least squares,OLS)是其中最基础也是最常用的一种,其主要思想是每个点到拟合模型的距离最短(残差最小)时的模型为最优，但是如果使用距离直接计算则会出现正负相抵的情况，而使用绝对值进行计算则会使计算变得十分繁琐，故采用距离的平方和进行计算，故最小二乘法实际上可翻译为最小平方和法。书上告诉我们利用高中求极值的方法可得到：

？？？故此今天我将对OLS法进行一些介绍以及简单的推导(在采用简单数学原理的基础上)。

历史
推导
附录
参考资料

历史

1805年法国数学家Adrien Marie Legendre首次公开发表发现了最小二乘法。

1808年美籍爱尔兰数学家Robert Adrain报告了关于最小二乘法的发现。

1809年德国著名数学家Carl Friedrich Gauss于他发表的《天体运动论中》提到了他所使用的最小二乘法。同年Gauss提出从1795年起自己就已经开始使用最小二乘法。

后人对其进行了考证，最终认为的确是Gauss先发现了最小二乘法，但是在当时并没有引起太大的反响，人们并没有认识到这一方法的重要性，直到Legendre的研究结果问世以及Gauss通过最小二乘法帮助天文学家成功预测了谷神星的轨道，人们才真正认识到最小二乘法的重要意义。虽然Gauss最先发现了最小二乘法，但Legendre最先较为系统的总结了这一方法并引起了数学界的注意，两位数学家同样值得人们尊敬。