最小二乘法与梯度下降的区别

1) 广义上的最小二乘法

最小二乘准则：是一种目标：基于均方误差最小化来进行模型求解。

2) 狭义上的最小二乘法

最小二乘算法：正规方程( Normal Equation)，线性假设下的一种有闭式解的参数求解方法，最终结果为全局最优

3) 梯度下降

是假设条件更为广泛无约束的，一种通过迭代更新来逐步进行的参数优化方法。针对凸问题可以得到全局最优解。而对于非凸问题可能会陷入到局部最优解

4) 总结

线性最小二乘求解可以使用最小二乘算法和梯度下降方法

非线性最小二乘求解可以使用梯度下降方法和牛顿法等方法

转载于:https://www.cnblogs.com/yuzhen233/p/8520142.html