辨析：最小二乘、线性回归与极大似然

下面三个概念在机器学习领域非常常见：

• 最小二乘：也称为最小二乘法，英文 Least Square Method（LSM）；
• 线性回归：英文 Linear Regression（LR），在无歧义或概念要求不严格的情况下，有时可能用“线性模型”、“回归”指代；
• 极大似然：也称为极大似然估计，英文 Maximum Likelihood Estimate（MLE）。

这三个术语经常存在混淆，本文试图辨析。

注意，本文辨析结果也许与一般书籍论文中定义不同，全在于个人理解。

线性回归：以最小二乘法求解的线性模型。

最小二乘：以 L2 损失函数为目标的模型优化方法。

最小二乘，狭义上，是以最小化目标  与拟合函数