学习日志（十）：最小二乘法和梯度下降算法的联系与区别

在一篇博文中看到把最小二乘法和梯度下降算法放在一起进行比较，当时就一脸懵逼晕倒，但是醒来还是要搞清楚的。关于二者的关系，结合网上不同的说法我给出我的理解：

联系

• 最小二乘法（又称最小平方法）是一种数学优化技术或者说是一种优化准侧。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
• 梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。
    二者目的相同，求得损失函数的最优解，从而找到最优训练模型，这个模型可以用来更好的拟合训练的样本数据。
  

区别

非要说区别可以这么理解：最小二乘法对于不同的问题所给出的函数的形式是固定的就是差值的平方，它更侧重于是一种模型，告诉你要解决的问题或者实现的目标；而梯度下降算法是一种实现目标的方法。最小二乘法是一种万能的模型，而梯度下降算法是一种万能的最优化方法（是不是万能的不清楚，这样我感觉好理解-.-）
参考文献：
1.线性回归中的最小二乘法和梯度下降法比较