一、二分类与多分类交叉熵损失函数的理解
交叉熵是分类任务中的常用损失函数,在不同的分类任务情况下,交叉熵形式上有很大的差别,
二分类任务交叉熵损失函数:
多分类任务交叉熵损失函数:
这两个交叉熵损失函数对应神经网络不同的最后一层输出,二分类对应 sigmoid,多分类对应 softmax。它们的交叉熵本质上是一样的:
(1)在信息论中,交叉熵是用来描述两个分布的距离的,函数定义为:
而神经网络训练的目的就是使预测的概率分布 g(x) 逼近真实的概率分布 p(x)。
(2)当 softmax 作为神经网络最后一层时,由于softmax的输出是归一化后的结果,所以可以把输出y作为g(x),p(x)是one-hot编码的真实标签。
(3)当 sigmoid 作为神经网络最后一层时,由于sigmoid是针对每个元素独立计算的,输出结果相加不等于1,所以不能把它的输出看作一个分布,而应该将最后一层的每个神经元看作一个分布,对应的 yi 服从二项分布 (yi的值代表是这个类的概率),那么第 i 个神经元的交叉熵为:
用求和符号改写为:
其中,
二、Tensorflow & Keras 中loss函数示例
1、Tensorflow接口
(1) tf.losses.sigmoid_cross_entropy(multi_class_labels, logits, ...)
使用tf.nn.sigmoid_cross_entropy_with_logits接口计算交叉熵
import tensorflow as tf
tf.enable_eager_execution()
def my_sigmoid_cross_entropy(labels, logits):
# z*(-log(sigmoid(x))) + (1 - z)*(-log(1 - sigmoid(x)))
result = tf.multiply(labels, -tf.log(tf.nn.sigmoid(logits))) \
+ tf.multiply(tf.subtract(1, labels), -tf