最最基础的最小二乘法优化

1、什么是最小二乘法：最小二乘法（又称最小平方法）是一种数学优化技术。它以误差的平方和为能量函数，通过最小化这个误差平方和，寻找数据的最佳函数匹配。

2、通过求一元一次函数的参数来理解最小二乘法优化过程

对于一元线性回归模型, 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择：


        （1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。（残差residual error就是样本与观测值的误差，直接相减）
        （2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
        （3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。


最常用的是普通最小二乘法（ Ordinary  Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）- 即采用平方损失函数。

、

求Q的极值，我们可以用很多方法，比如求偏导数，梯度下降法，牛顿法等等，这就是解优化的过程。