深度学习中常用损失函数

损失函数是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负值函数，通常用L(Y,f(x))来表示，损失函数越小，模型的鲁棒性越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子：

其中，前面的均值函数表示的是经验风险损失函数，L表示的是损失函数，后面的是正则化项。

L1损失函数和L2损失函数

这两个损失函数通常一起比较着来说。
L1损失函数，又叫最小绝对值偏差（LAE）。它把目标值与估计值的绝对差值的总和最小化：

L2损失函数，也被称为最小平方误差。总的来说，它是把目标值与估计值的差值的平方和最小化。

L2损失函数对异常点比较敏感，因为L2将误差平方化，使得异常点的误差过大，模型需要大幅度的调整，这样会牺牲很多正常的样本。
而L1损失函数由于导数不连续，可能存在多个解，当数据集有一个微笑的变化，解可能会有一个很大的