【总结】深度学习中的LOSS

【总结】深度学习中的损失函数

1. 铰链损失/合页损失 Hinge Loss

SVM常用损失函数

• 函数表达式
  $L(y,f(x))=max(0,1-y\cdot f(x))$

• 函数图像
  
  通过上图可知，当$y\cdot f(x)>1$时，$loss=0$；否则，$loss=1-y\cdot f(x)$。也就是说，只有被正确分类的时候，loss才为0。

2. 交叉熵 Cross-entropy Loss

（1）用于二分类

表示样本abel与预测值为正类概率的关系

• 函数表达式
  $C=-\frac{1}{N}{\sum }_i[y_{i}ln(p_i)+(1-y_i)ln(1-p_i)]$
  其中，
  $y_i$——样本$i$的label，正类为1，负类为0；
  $p_i$——样本$i$的预测值为正类的概率。

（2）用于多分类

-函数表达式
$C=-\frac{1}{N}{\sum }_i{\sum }_k[y_{ik}ln(p_{ik})]$
其中，
$y_{ik}$——样本$i$的label，与正类类别相同为1，否则为0；
$p_{ik}$——样本$i$的预测值为第$k$类的概率。

• 优点
  使用逻辑函数得到概率，并结合交叉熵当损失函数时，在模型效果差的时候学习速度比较快，在模型效果好的时候学习速度变慢
• 缺点
  sigmoid(softmax)+cross-entropy loss 擅长于学习类间的信息，因为它采用了类间竞争机制，它只关心对于正确标签预测概率的准确性，忽略了其他非正确标签的差异，导致学习到的特征比较散。基于这个问题的优化有很多，比如对softmax进行改进，如L-Softmax、SM-Softmax、AM-Softmax等。

3. 均方误差MSE

• 函数表达式
  $MSE=\frac{1}{n}{\sum }_i^n(\widehat{y_i}-y_i{)}^2$
• 缺点
  逻辑回归配合MSE损失函数采用梯度下降法进行学习时，在训练初始阶段学习速率非常慢

4. Smooth L1 Loss

• 函数表达式
  $$smoot{h}_{L_1}(x)=\{\begin{array}{ll}0.5x^2，& |x|<1\\ |x|-0.5，& otherwise\end{array}$$
• 函数图像
  

参考

(1) 机器之心——机器学习大牛最常用的5个回归损失函数，你知道几个？
(2) 一文读懂机器学习常用损失函数（Loss Function）
(3) 损失函数 - 交叉熵损失函数