softmax 详解

什么是softmax

softmax函数定义如下：
$$S_i=\frac{e^{V_i}}{{\sum }_i^C{e}^{V_i}}$$
where
$V_i$------分类器前级输出单元的输出
$i$------类别索引
$C$------总的类别个数
softmax将多分类的输出数值转化为相对概率，更容易理解和比较。

例子：
一个多分类问题，$C=4$。线性分类器模型最后输出层包含四个输出值，分别是：
$$V=\left[\begin{array}{c}-3\\ 2\\ -1\\ 0\end{array}\right]$$
经过softmax处理后，数值转化为相对概率:
$$V=\left[\begin{array}{c}0.0057\\ 0.8390\\ 0.0418\\ 0.1135\end{array}\right]$$

很明显，Softmax 的输出表征了不同类别之间的相对概率。我们可以清晰地看出，$S_1=0.8390$，对应的概率最大，则更清晰地可以判断预测为第1类的可能性更大。Softmax 将连续数值转化成相对概率，更有利于我们理解。

实际应用中，使用 softmax 需要注意数值溢出的问题。因为有指数运算，如果$V$数值很大，经过指数运算后的数值往往可能有溢出的可能。所以，需要对$V$进行一些数值处理：即$V$中的每个元素减去$V$中的最大值。

$$D=max(V)$$
$$S_i=\frac{e^{V_i-D}}{{\sum }_i^C{e}^{V_i-D}}$$

相应的python程序：

scores = np.array([123, 456, 789])    # example with 3 classes and each having large scores
scores -= np.max(scores)    # scores becomes [-666, -333, 0]
p = np.exp(scores) / np.sum(np.exp(scores))

Reference:
https://blog.csdn.net/raojunyang/article/details/81194793