[深度学习]Softmax 交叉熵

• 交叉熵代表的是不同概率分布的相似情况,他的计算方法如下所示：其中ｙ代表的是每种类比出现的概率

    cross\_entropy = -\sum y * log(y)

• 对于深度学习中的分类问题来说，当分类越准确的时候，上述值就越小。
• 但是对于神经网络来说，怎么把一个神经网络的输出转化成相应的概率呢？这就是我们接下来要说的softmax函数的作用
• softmax函数的定义如下所示：我们可以看到softmax函数相当于做了一次归一化，这里exp函数的作用是将输出的值转化为非负的。

    s(z) = \frac{exp(z _{i})}{\sum exp(z _{i})}

-　有了上面的定义，我们再来考虑一下为什么在训练神经网络的时候，有时候ｌｏｓｓ的值会是nan呢？这是因为我们在计算exp的时候当z的值很大的时候，那么exp(z)就会ｏｖｅｒｆｌｏｗ，那么就会变成nan,当然也有可能下溢，不过下溢的话，变成０，对于我们的损失函数影响不大，所以这个是我们可以容忍的，但是上溢是我们不能容忍的，所以我们怎么办呢？我们可以在进行ｅｘｐ操作前，给所有的z减去max(z),以此来防由于z过大而导致的ｎａｎ问题。

• 参考网址