最小二乘法

首先，我们来了解另外一个概念——均方误差，也称平方损失(square loss)。

以线性回归为例：

 均方误差：，它对应了常用的欧氏距离(Euclidean distance)。

最小二乘法(least square method)是基于均方误差最小化来进行模型求解的方法。