最小二乘法求模型最优解

目录

前言

两者不同分析

误差函数

参考链接

---

前言

勒让德和高斯发现最小二乘法是从不同的角度入手的：一个是为解线性方程组，一个是寻找误差函数；一个用的是整体思维，考虑方程组的均衡性，一个用的是逆向思维，首先接受经验事实；一个是纯代数方法，一个致力于应用。

两者不同分析

首先，勒让德和高斯都承认求解拟合方程过程中会有误差的出现

1、勒让德主要是采用解方程组的方法求解未知参数，如y=ax+b，理想情况下，方程是可以解出来的，但是考虑误差的出现，这个方程会无确定解，所以他采用了减小误差的方法，强调“应使各观测点到该曲线的偏差的平方和达到最小”，这就是最小二乘法的代数法。

2、高斯与勒让德的方法是相同的，在接受有误差事实（在测量过程中不可避免会存在各种各样的误差）的前提下，寻找如何减小与真实数据之间的差异的方法。他的出发角度是寻找误差函数（与勒让德的看问题角度不同），误差函数的误差服从均值为0，方差为δ的正态分布。 

误差函数

参考链接

1>https://www.zhihu.com/question/304164814/answer/549972357?utm_source=wechat_session

2>https://zhuanlan.zhihu.com/p/356627716