机器学习之最小二乘法

欢迎关注笔者的微信公众号

---

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

当我们需要设计一个线性函数（$y=ax+b或Ax+Bx+C=0$）去拟合一些呈线性关系的数据点时，我们如何评价我们设计的拟合函数的拟合效果呢？换言之，我们如何评价我们设计的拟合函数与实际值的差距、损失?

一个直接的思路是计算所有实际点到拟合函数的距离的和：$L=\sum \frac{|A{x}_0+B{y}_0+C|}{\sqrt{A^2+B^2}}$

显然，这种计算方式有除法，开根号，开方，非常的复杂，耗时，不可取。

损失计算函数应当尽量简单且能直观反映损失。

通常使用如下函数来评价损失 $L(a,b)={\sum }_{i=1}^N(y_i-f(x_i){)}^2$

$y_i$是实际值，$f(x_i)$是拟合函数预测值。通过计算两者的差值的平方（取绝对值会更复杂）来评判单个点的拟合损失，对所有结果求和来评判整体的拟合效果

$L(a,b)$是一个二元函数，我们的目标就是求$L(a,b)$的最小值，即$\min L(a,b)$时$a,b$的取值，这时也是拟合效果最好的。

要求$L$的最小值，问题就转化为求$L$的偏导数（神经网络中称为梯度）
{ ∂ L ∂ a = 0