损失函数（均方损失L2 Loss，L1 Loss，鲁棒损失）

损失函数：衡量预测值y’ 和真实值y 之间的区别。

L2 Loss（均方损失）

定义：

蓝色：y=0，y’变化。代表了y’对y的偏离程度。
绿色：e^(-L) ，损失函数的似然函数，似然函数：用样本求模型的参数以获取总体分布。代表y’在哪里取值时，这个y’对应的参数概率是最大的。
橙色：损失函数的梯度
梯度下降中，我们是根据它的负梯度方向来更新参数，所以其导数决定了如何更新我们的参数，即决定了每次更新的step，梯度越大参数更新的力度越大，反正亦然。但是有时我们并不像梯度较大时，step较大，此时可以用L1 Loss。

L1 Loss

定义：

绝对值函数在零点处不可导。特点：更新参数力度大小相同。

Huber’s Robust Loss（鲁棒损失）

结合了L1和L2的优点，避免了劣势。