深度学习的几种常见loss function

先说说深度学习最后一层激励函数，主要分两大类，softmax和sigmoid；sigmoid针对二分类问题，只需要一个标量的输入即可计算激励函数（当然输出也是一个标量）：

                                                                                                                 （1）

softmax的激励函数就不同了，它需要多个输入产生多个输出，且每个输出都是依赖于所有输入的：

                                                                                                                  （2）

当然二分类问题也可以使用softmax激励函数，只不过使用sgimoid函数是单输入单输出，换成softmax是双输入双输出。

Loss function

基于以上两个激励函数，我们再理解deep learning的loss function就不是什么难事，无非是cross entropy loss（CE）的不同形式变化。一般的，多分类问题，我们使用标准的CE：

                                                                                                         （3）

这里s_i和上小节不同，是类别i的score，也就是(2)式中的f(s)_i；t_i为分类标志位，即若i类为正，则 t_i = 1，否则 t_i = 0。

类似的对于二分类问题，我们使用log_loss（其实也就是（3）的变种）：

                                            （4）

多标签问题的Loss

多标签问题可以理解为并行的多个二分类问题。我们知道对于多分类问题，模型的输出应该是类似于 [0,1,0,0,0,0] 这种one-hot形式的向量，这种向量只能表示1个正例；而多标签问题模型的输出可以表示为 [0,1,1,1,1]这种可以表示多个正例的向量，而多个位置的正负例判断理解为多个二分类并行进行，从形式上讲也是合理的。

多标签问题的loss function公式这里就不写了，对(4)式稍加改动即可。

 

参考文献：

Understanding Categorical Cross-Entropy Loss, Binary Cross-Entropy Loss, Softmax Loss, Logistic Loss, Focal Loss and all those confusing names