tensorflow中交叉熵损失函数的三种计算方法

tensorflow中交叉熵的三种计算方法
1、交叉熵公式表示为：

$H(p,q)=-{\sum }_{i=1}^{n}p(x_i)log(q(x_i))$

$q(x_i)$预测的概率值（softmax之后）；$p(x_i)$真实Y的概率值（一般为one-hot编码）

2、tf.nn.softmax_cross_entropy_with_logits(logits, labels))
logits是神经网络预测值（未经softmax），labels是真实Y的概率值（一般为one-hot编码）

3、tf.nn.sparse_softmax_cross_entropy_with_logits(logits, labels))
logits是神经网络预测值（未经softmax），labels是真实Y的位置码
例子：

import tensorflow as tf

logits = tf.constant([[1, 2, 3], [2, 1, 3], [3, 1, 2]], tf.float64)# batch为3的3分类的神经网络输出
y = tf.nn.softmax(logits)#归一化（转换成概率）
y_ = tf.constant([[0, 0, 1], [0, 1, 0], [0, 0, 1]], tf.float64)#真是Y one-hot
y_sparse = tf.constant([2,1,2], tf.int32)#真是Y的位置码

cross_ent = -tf.reduce_sum(y_ * tf.log(y))
cross_ent2 = tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y_))
cross_ent3 = tf.reduce_sum(tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=y_sparse))

with tf.Session() as sess:
	print('cross_ent: ', sess.run(cross_ent))
	print('cross_ent2: ', sess.run(cross_ent2))
	print('cross_ent3: ', sess.run(cross_ent3))
	print('y: ', sess.run(y))