tensorflow损失函数之：softmax_cross_entropy_with_logits和softmax_cross_entropy_with_logits_v2的区别

tf.nn.softmax_cross_entropy_with_logits(

    _sentinel=None,
    labels=None,
    logits=None,
    dim=-1,
    name=None
)


tf.nn.softmax_cross_entropy_with_logits_v2(
    _sentinel=None,
    labels=None,
    logits=None,
    dim=-1,
   name=None
)

 

计算 softmax(logits) 和 labels 之间的交叉熵

参数：_sentinel -->内部，一般不使用。

            labels       --> 真实数据的类别标签

            logits        -->神经网络最后一层的类别预测输出值

            dim           --> 类维度。默认为-1，这是最后一个维度。

官方文档已经标记出softmax_cross_entropy_with_logits已经是deprecated 状态，推荐使用softmax_cross_entropy_with_logits_v2。softmax_cross_entropy_with_logits_v2与softmax_cross_entropy_with_logits的区别在于softmax_cross_entropy_with_logits在进行反向传播的时候，只对logits进行反向传播，labels保持不变。而softmax_cross_entropy_with_logits_v2在进行反向传播的时候，同时对logits和labels都进行反向传播，如果将labels传入的tensor设置为stop_gradients，就和softmax_cross_entropy_with_logits一样了。 
那么问题来了，一般我们在进行监督学习的时候，labels都是标记好的真值，什么时候会需要改变label？softmax_cross_entropy_with_logits_v2存在的意义是什么？实际上在应用中labels并不一定都是人工手动标注的，有的时候还可能是神经网络生成的，一个实际的例子就是对抗生成网络（GAN）。

labels=tf.constant([[1,0,0,0], [0,1,0,0],[0,0,1,0], [0,0,0,1] ],dtype=tf.int32)
logits=tf.Variable(tf.random_normal([4,4]))
loss=tf.nn.softmax_cross_entropy_with_logits_v2(labels=labels,logits=logits)
sess=tf.Session()
init=tf.global_variables_initializer()
sess.run(init)
print(sess.run(loss))