Tensorflow中的交叉熵（Cross Entropy）

Tensorflow中的交叉熵（Cross Entropy）
1 Cross Entropy (Sigmoid)
适用于二分类，输入函数的logits和labels应当是一维的。如果输入One-Hot过的logits，会被当做多个一维分别计算。注意不要将已经通过sigmoid计算得到的数值输入函数，那样会得到错误的结果。

 

 

Cross Entropy (Softmax)
适用于多分类，softmax_cross_entropy_with_logits_v2接收的logits和labels至少是二维的，sparse_softmax_cross_entropy_with_logits接收的logits至少是二维的，但labels不是One-Hot的，而是类别的下标，例如[0,0,1,0] 。  [0,0,1,0]这样的label就是2（从0开始）。注意不要将已经通过softmax计算得到的数值输入函数，那样会得到错误的结果
 

# 4 samples
import numpy as np
preds = [[10., -10.], [10., -10.], [10., -10.], [10.,-10.]]
labels = [[1., 0.], [1., -1.], [0., 1.], [-1., 1.]]
print("数据集的维度：",np.shape(preds))
print("类别的维度：",np.shape(labels))
# softmax_cross_entropy_with_logits_v2输入的数据集和类别至少是二维的
loss = tf.nn.softmax_cross_entropy_with_logits_v2(labels=labels,logits=preds)
loss1 =tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(labels=labels,logits=preds))
label=np.argmax(labels,axis=1)
print("label标签",label)
# tf.nn.sparse_softmax_cross_entropy_with_logits#收的logits至少是二维的，
# 但labels不是One-Hot的，而是类别的下标
loss2=tf.nn.sparse_softmax_cross_entropy_with_logits(labels=label,logits=preds)
loss3=tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(labels=label,logits=preds))
with tf.Session() as sess:
    init=tf.global_variables_initializer()
    sess.run(init)
    print("softmax_cross_entropy_with_logits_v2,每个样本的交叉熵:",sess.run(loss))
    print("softmax_cross_entropy_with_logits_v2,所有样本交叉熵求均值：:",sess.run(loss1))
    print("sparse_softmax_cross_entropy_with_logits,每个样本的交叉熵",sess.run(loss2))
    print("sparse_softmax_cross_entropy_with_logits,所有样本交叉熵求均值",sess.run(loss3))

 

参考博客：https://blog.csdn.net/songbinxu/article/details/84791040