盘点 深度学习的那些loss

盘点 深度学习的那些loss

A loss function is a part of a cost function which is a type of an objective function

• 0-1损失函数
  $$L(Y,f(X))=\{\begin{array}{l}1,Y\ne f(X)\\ 0,y=f(X)\end{array}$$

• 绝对值损失函数
  $$L(Y,f(X))=|Y-F(X)|$$

• 均方差损失(Mean Squared Error Loss)
  $$J_{MSE}=\frac{1}{N}{\Sigma }_{i=1}^N(y_i-{\hat{y}}_i{)}^2$$
  在模型输出与真实值的误差服从高斯分布的假设下，最小化均方差损失函数与极大似然估计本质是一致的，最大化对数似然：
  $$LL(x,y)=-\frac{N}{2}log2\pi -\frac{1}{2}{\Sigma }_{i=1}^N(y_i-{\hat{y}}_i{)}^2$$

• 平均绝对误差损失(Mean Absolute Error Loss)
  $$J_{MAE}=\frac{1}{N}{\Sigma }_{i=1}^N|y_i-{\hat{y}}_i|$$
  是假设模型预测与真实值之间的误差服从拉普拉斯分布(μ,b=1)，再推导负对数似然可以得到。对异常点更加鲁棒。

• Huber Loss(Smooth Mean Absolute Error Loss)

  是将MSE与MAE结合起来的损失函数，在误差接近0时使用MSE，较大时候使用MAE:
  $$J_{huber}=\frac{1}{N}{\Sigma }_{i=1}^N|{|}_{|y_i}$$