损失函数比较

1、均方误差损失函数

蓝色：损失函数图像 绿色：似然函数图像（高斯分布）  橙色：损失函数梯度图像

预测值越接近真实值，梯度下降的越慢（缺点：但有时候预测值偏离真实值较多时，也并不希望梯度下降的过快/用一个很大的梯度更新参数）

2、绝对值损失函数

 优点：当预测值偏离真实值较远的时候也是以不变的常数梯度更新参数，带来稳定性上的好处

缺点：0点处不可导，且会有正1和负1的剧烈变化（不平滑性），优化后期不再稳定

3、Huber鲁棒损失函数（相当于L2损失和L1损失的结合）