tf.softmax_cross_entropy_with_logits()的应用

softmax_cross_entropy_with_logits介绍

在计算最小化代价值的时候，我们通常使用tf.softmax_cross_entropy_with_logits()，其原型是：

tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=pred, name=None)
函数功能：计算最后一层是softmax层的cross entropy，把softmax计算与cross entropy计算放到一起了，用一个函数来实现，用来提高程序的运行速度。

参数name：该操作的name

参数labels：shape是[batch_size, num_classes]，神经网络期望输出。

参数logits：shape是[batch_size, num_classes] ，神经网络最后一层的输入。
具体的执行流程大概分为两步：

第一步是先对网络最后一层的输出做一个softmax，这一步通常是求取输出属于某一类的概率，对于单样本而言，输出就是一个num_classes大小的向量（[Y1，Y2,Y3…]其中Y1，Y2，Y3…分别代表了是属于该类的概率）
公式如下

比如某个logits = [2, 3, 4],使用softmax将logits转换成概率,就是按照公式:
$\frac{e^x}{\sum e^x}$

计算logits中每个元素的值:[$\frac{e^2}{e^2+e^3+e^4}$ , $\frac{e^3}{e^2+e^3+e^4}$ ​ , $\frac{e^4}{e^2+e^3+e^4}$

],计算结果为[0.080358 0.325869 0.593772],这三个元素每个都不小于0并且和为1,所以构成了概率分布

第二步是softmax的输出向量[Y1，Y2，Y3，…]和样本的实际标签做一个交叉熵，公式是

$y_i^{{}^{\prime }}$指实际标签中第i个的值；

$y_i$指softmax的输出向量[Y1，Y2,Y3…]中，第i个元素的值。

假设对应logits的标签labels是[0,1,0]
根据交叉熵公式 −∑y′×log(y)
−∑y′×log(y)计算概率化之后的logits和标签之间的交叉熵损失,其中y′=[0,1,0],y=[0.080358 0.325869 0.593772] y′=[0,1,0],也就是−0×log(0.080358)−1×log( 0.325869)−0×log(0.593772)=0.132845

代码实现

import tensorflow as tf
###############################
# 一个样本
###############################
logits = tf.constant([2,3,4],dtype=tf.float32)
labels = [0,1,0]
#对logits使用softmax,[0.080358  0.325869 0.593772]
res1 = tf.nn.softmax(logits) 
# 交叉熵损失中的各个对数部分,[-2.407606   -1.4076059  -0.40760598]
res2 = tf.log(res1) 
# 交叉熵损失,1.4076059
res3 = tf.nn.softmax_cross_entropy_with_logits(logits=logits,labels=labels)

with tf.Session() as sess:
	res1,res2,res3 = sess.run([res1,res2,res3])
	print(res1)
	print(res2)
	print(res3)
print('====================================================')

###############################
# 多个样本
###############################
logits = tf.constant([[2,7,5],[6,3,4]],dtype=tf.float32)
labels = [[0,1,0],[0,1,0]]
#对logits使用softmax,[[0.00589975 0.8756006  0.11849965] [0.8437947  0.04201007 0.11419519]]
res1 = tf.nn.softmax(logits)
# 交叉熵损失中的各个对数部分,[[-5.1328454  -0.13284525 -2.1328452 ] [-0.16984606 -3.169846   -2.169846  ]]
res2 = tf.log(res1)
# 交叉熵损失,[0.13284527 3.169846  ]
res3 = tf.nn.softmax_cross_entropy_with_logits(logits=logits,labels=labels)
# 求出交叉熵损失后再对各个样本的交叉熵损失取平均,1.6513456
res4 = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=logits,labels=labels))

with tf.Session() as sess:
	res1,res2,res3,res4 = sess.run([res1,res2,res3,res4])
	print(res1)
	print(res2)
	print(res3)
	print(res4)