深度学习--损失函数

损失函数
    什么是损失函数?
在深度学习中损失函数是用来衡量模型参数的质量函数,衡量的方式是比较网络输出和真实输出的差异    
    回归任务损失函数-MAE损失
(MAE)也被称为L1 Loss,是以绝对误差作为距离.
        特点:
1.由于L1 loss具有稀疏性,为了惩罚较大的值,因此常常将其作为正则项添加到其他loss中作为约束.
2.L1 loss的最大问题是梯度在零点不平滑,导致会跳过极小值
    回归任务损失函数-MSE损失
(MSE)损失也被称为L2 loss,或欧氏距离,它以误差的平方和的均值作为距离
        特点:
1.L2 loss也常常作为正则项.
2.当预测值与目标值相差很大时,梯度容易爆炸