交叉熵函数tf.softmax_cross_entropy_with_logit()的实际计算

在分类问题中最后计算的损失函数大多都是使用的交叉熵函数, 那么它内部到底是咋计算的呢,这里举例说明

先假设这里只有一个样本, 实际类别的one-hot编码是[0, 0, 1], 而预测结果为[0.4, 0.3, 0.6], 这里并没有经过softmax进行归一化处理, 因为tf不建议我们自己进行 归一化处理, 在调用函数时内部会进行softmax的归一化处理.

y_onehot = tf.constant([[0, 0, 1]])
y_pre = tf.constant([[0.4, 0.3, 0.6]])
tf.losses.categorical_crossentropy(y_onehot, y_pre, from_logits=True)

结果为:

<tf.Tensor: shape=(1,), dtype=float32, numpy=array([0.939831], dtype=float32)>

下面我们来计算这个值是如何计算得到的.

内部的运算是: 先对y_pre进行softmax归一化得到

res = tf.nn.softmax(y_pre).numpy()
res
结果为:
array([[0.31987303, 0.28943312, 0.39069384]], dtype=float32)

然后进行熵的计算,也就是按照公式进行求解

这里比较特殊, 真实分布式one-hot, 所以只计算真实值为1 的情况

即 -1*lg(0.39069) = 0.9398310436182239 这也就是这个样本预测值与真实值的交叉熵