L1 VS L2(深度学习中的L1与L2)
L1 loss L1 loss的数学公式和函数图如下所示:L1函数连续,但是在????−????(????)=0处不可导,L1 loss大部分情况下梯度都是相等的,这意味着即使对于小的损失值,其梯度也是大的,这不利于函数的收敛和模型的学习。但是,无论对于什么样的输入值,都有着稳定的梯度,不会导致梯度爆炸问题,具有较为稳健性的解。L2 loss(MSE loss)MSE曲线的特点是光滑连续、可导,便于使用梯度下降算法,是比较常用的一种损失函数。而且,MSE 随着误差的减小,梯度也在减小
原创
2020-07-10 20:45:11 ·
1964 阅读 ·
0 评论