新手最容易混淆的概念最小二乘法

我一直很困惑“最小二乘法”、“梯度下降法”、“最大似然估计法”到底是机器学习中求解参数的方法，还是最优化的方法？

（1）狭义的最小二乘法，是线性假设下的一种有闭式解的参数 求解方法，最终结果为全局最优；
（2）梯度下降法，是假设条件更为广泛（无约束）的，一种通过迭代更新来逐步进行的参数 优化方法，最终结果为局部最优；
（3）广义的最小二乘准则，是一种对于偏差程度的评估准则，本质上一种目标函数（objective function），与上两者不同。

--------------------------------