tf.nn.sparse_softmax_cross_entropy_with_logits和tf.nn.softmax_cross_entropy_with_logits

在训练神经网络时，计算损失函数的交叉熵经常用到tf.nn.softmax_cross_entropy_with_logits和tf.nn.sparse_softmax_cross_entropy_with_logits两个函数，这两个函数虽然在功能上相似，但是也有一定的不同，如果不加区别在编程时很容易出错。

tf.nn.sparse_softmax_cross_entropy_with_logits(logits, labels, name=None)

参数：

logits:神经网络输出层的输出，shape为[batch_size，num_classes]

labels:一个一维的向量,长度等于batch_size

返回值：返回值为长度batch_size的1D Tensor,类型和 logits 一样，值为softmax 交叉熵损失

tf.nn.softmax_cross_entropy_with_logits（labels, logits, name=None）

参数：

logits::神经网络输出层的输出，为使用softmax或sigmoid的，shape为[batch_size, num_classes]

labels:和logits具有相同的type(float)和shape的张量(tensor)，即数据类型和张量维度都一致

因为tf.nn.sparse_softmax_cross_entropy_with_logits()输入label为一维向量，需要将label转化为one-hot格式，如果标签label是one-hot格式，计算交叉熵可以用tf.nn.softmax_cross_entropy_with_logits函数计算。

例子： 比如在mnist数据测试中交叉熵计算为：(注：在加载MNIST数据集时已经进行one_hot编码）

cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels=tf.argmax(y_,1))
loss = tf.reduce_mean(cross_entropy)​

或者

cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits=y,labels=y_)
loss = tf.reduce_mean(cross_entropy)