Cross-Entropy 交叉熵

先上公式，交叉熵定义

p(x) 是真正的概率分布, q(x) 是估计的概率分布. 这个评价准则是用来测量 q(x) 与 p(x)的相似程度. 在信息论里证明, 当q(x)=p(x)时, H(p,q) 达到最小值.

在 Tensorflow 中, 对于某一特定图像， p(x) 是 one-hot vector ([0 0 0 1 0 0 0]), q(x) 是 softmax 层的输出. 值得注意的是在 Tensorflow 里的函数

tf.nn.softmax_cross_entropy_with_logits(_sentinel=none, labels=none, logits=none, dim=-1, name=none)

labels: [batch_size, num_classes], the batch of one-hot vectors

logits: 估计的概率分布, 但在这里是 softmax 层的输入，即没有进行加和归一的原始数据

dim: class 所在的维度，默认值是最后一维

输出是 batch_size 大小的向量, 所以我们要用 tf.reduce_sum 来计算平均值.

或者我们可以用下面的方法求交叉熵

logits=.....

logits_softmax=tf.nn.softmax(logits)

OneHot=.....

CrossEntropy=tf.reduce_sum(-OneHot*tf.log(logits_softmax))

更多细节？参考下面文章

http://blog.csdn.net/rtygbwwwerr/article/details/50778098