L1
L1也就是平均绝对误差 Mean Absolute Error(MAE)
- 优点:无论对于什么样的输入值,都有着稳定的梯度,不会导致梯度爆炸问题,具有较为稳健性的解。
- 缺点:在中心点是折点,不能求导,不方便求解,可能得不到全局最优解。
L2
L2也就是常说的均方误差 Mean Square Error(MSE)
- 优点:各点都连续光滑,方便求导,具有较为稳定的解。
- 缺点:不是特别的稳健,当函数的输入值距离中心值较远的时候,使用梯度下降法求解的时候梯度很大,导致梯度爆炸。
Smooth L1
Smooth L1是结合了L1、L2 loss的优点,在距离最优解较远处能较快收敛,在距离最优解很近时能缓慢求导至最优。