最小二乘法

参考链接
最小二乘法中的**“二乘”本质上是平方**的意思，也可以叫最小平方法。其目的就是通过最小化误差的平方和，使得拟合对象无限接近目标对象。换句话说，最小二乘法定义了一种函数的拟合标准，其目标是最小化误差的平方和。
注意，同一组数据，选择不同的f(x)，通过最小二乘法可以得到不一样的拟合曲线

什么是最小二乘法

最小二乘法：所选择的回归模型应该使所有观察值的残差平方和（即采用平方损失函数）达到最小

一、核心思想

求解未知参数，使得理论值与观测值之差（即误差，或者说残差）的平方和达到最小：

yi：观测值就是我们的多组样本，
y^:理论值,是假设拟合函数。
E：目标函数，也是在机器学习中常说的损失函数
我们的目标是得到使目标函数最小化时候的参数。

所谓最小二乘，其实也可以叫做最小平方和，其目的就是通过最小化误差的平方和，使得拟合对象无限接近目标对象。换句话说，最小二乘法定义了一种函数的拟合标准
在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线的欧氏距离之和最小。
最小二乘法可以解释为什么多次测量取算术平均的结果就是真值