『损失函数』softmax loss

最近，在学习深度学习中的一系列损失函数。本文就softmax loss损失函数做原理分析。

思路：softmax函数–>softmax loss损失函数

1.softmax函数

• 首先，要明白的是，softmax是一个函数；

• 然后，要明白的是，该函数的输出值是一个向量，且取值范围为[0,1]。

• 最后，要明白的是，该函数是个输出函数。

​ 公式如下所示：
$$S_j=\frac{e^{a_J}}{{\sum }_{k=1}^T{e}^{a_k}}$$
​ 其中，$T$代表样本输出总类别数；$a_k$表示输出结果中第$k$个位置上的数值。

​ 如：10分类问题，其中每个样本输出的结果是靠近10个标签值的概率值。当概率最大的为分类结果时，其余视为0。经典示意图如下（图1、图2）所示：

图1 神经网络输出多分类结果，并使用softmax函数作为输出层

图2 softmax函数作为输出层

2.softmax loss损失函数

​ softmax loss是一个损失函数。公式如下所示：
$$L=-\sum _{J=1}^T{y}_{j}log{S}_j$$
​ 其中，$S_J$是softmax函数输出的向量的第$j$个值，表示该样本靠近标签的概率值；$y_j$的取值为0或1，当得到分类结果正确时，取值1，其余情况取值0。

​ 从下方函数图3可以看出，当得到正确分类项得到的概率值越低（$log{S}_j$），其对应损失函数($L$)也就越大。

图3 softmax loss函数图像