Softmax和交叉熵

Softmax

$$\text{softmax}(x)_i = \frac{\exp(x_i)}{\sum_j \exp(x_j)}$$

$$\begin{eqnarray} a^L_j = \frac{e^{z^L_j}}{\sum_k e^{z^L_k}}\end{eqnarray}$$

$$\begin{eqnarray} \sum_j a^L_j & = & \frac{\sum_j e^{z^L_j}}{\sum_k e^{z^L_k}} = 1\end{eqnarray}$$

• 所有的输出激活值是正的，因为指数函数肯定是正的。结合这点以及上一段的结论，我们可以知道，从 softmax 层得到的输出是一系列相加和为 1 的正数。换言之，从 softmax 层得到的输出可以看做是一个概率分布。
• softmax 层的输出是一个概率分布的这个结论是很有价值的。在许多问题中，我们可以很方便地将输出激活值 $$a^L_j$$ 看作是神经网络认为结果是 j 的概率。比如，在 MNIST 分类问题中，我们可以将 $$a^L_j$$ 看作是神经网络认为这个数字是 j 的概率估计。

交叉熵