fish_like_apple的博客

原创 交叉熵与softmax的初步了解

前言：在调试tensorflow官方教程代码时，我发现了交叉熵（Cross Entropy）损失和其之前所用的softmax函数。我还没在《神经网络与机器学习第3版》中看到交叉熵，就大概先了解一下，并且记录下我目前了解到的信息。 正文：先说交叉熵的公式： 如果是在训练神经网络的情况下，p(i)代表标签中当前样本属于i类的概率。在mnist的标签中此项非1即0，而且只有某一类对应的概率是1，其他都是...