softmax_cross_entropy_with_logits详解

tf.softmax_cross_entropy_with_logits()的计算过程一共分为两步:1.对输入进行softmax转换成概率；2.计算交叉熵损失

 

对输入进行softmax转换成概率

比如某个logits = [2, 7, 5],使用softmax将logits转换成概率,就是按照公式：，计算logits中每个元素的值:

计算logits中每个元素的值，计算结果为[0.00589975 0.8756006 0.11849965],这三个元素每个都不小于0并且和为1,所以构成了概率分布。

计算交叉熵损失

假设对应logits的标签labels是[0,1,0]，根据交叉熵公式： 计算概率化之后的logits和标签之间的交叉熵损失,其中

y' = [0.00589975   0.8756006  0.11849965]  ,也就是−0×ln(0.00589975)−1×ln(0.8756006)−0×ln(0.11849965)=0.1328452

注意事项

上面举的例子只对应一个样本的logits=[2, 7, 5],一般训练时batch size不会为设为1, 所以要使用tf.reduce_mean()来对tf.softmax_cross_entropy_with_logits()的结果取平均,得到关于样本的平均交叉熵损失.比如batch size = 2
logits=[[2,7,5],[6,3,4]] labels=[[0,1,0],[1,0,0]]
使用tf.softmax_cross_entropy_with_logits()计算后得到[2,7,5],[6,3,4]这两个样本的交叉熵损失,再使用tf.reduce_mean()取平均,具体见下面的代码演示
 

logits = tf.constant([2,7,5],dtype=tf.float32)
labels = [0,1,0]
#对logits使用softmax,[0.00589975 0.8756006  0.11849965]
res1 = tf.nn.softmax(logits)
# 交叉熵损失中的各个对数部分,[-5.1328454  -0.13284525 -2.1328452 ]
res2 = tf.log(res1)
# 交叉熵损失,0.13284527
res3 = tf.nn.softmax_cross_entropy_with_logits(logits=logits,labels=labels)

with tf.Session() as sess:
	res1,res2,res3 = sess.run([res1,res2,res3])
	print(res1)
	print(res2)
	print(res3)

参考资料:

https://blog.csdn.net/weixin_42713739/article/details/103203743

https://blog.csdn.net/littlehaes/article/details/83415573