tensorflow分类的loss函数_Tensorflow & Keras的loss函数总结

一、二分类与多分类交叉熵损失函数的理解

交叉熵是分类任务中的常用损失函数，在不同的分类任务情况下，交叉熵形式上有很大的差别，

二分类任务交叉熵损失函数：

多分类任务交叉熵损失函数：

这两个交叉熵损失函数对应神经网络不同的最后一层输出，二分类对应 sigmoid，多分类对应 softmax。它们的交叉熵本质上是一样的：

(1)在信息论中，交叉熵是用来描述两个分布的距离的，函数定义为：

而神经网络训练的目的就是使预测的概率分布 g(x) 逼近真实的概率分布 p(x)。

(2)当 softmax 作为神经网络最后一层时，由于softmax的输出是归一化后的结果，所以可以把输出y作为g(x)，p(x)是one-hot编码的真实标签。

(3)当 sigmoid 作为神经网络最后一层时，由于sigmoid是针对每个元素独立计算的，输出结果相加不等于1，所以不能把它的输出看作一个分布，而应该将最后一层的每个神经元看作一个分布，对应的 yi 服从二项分布 (yi的值代表是这个类的概率)，那么第 i 个神经元的交叉熵为：

用求和符号改写为：

其中，

二、Tensorflow & Keras 中loss函数示例

1、Tensorflow接口

(1) tf.losses.sigmoid_cross_entropy(multi_class_labels, logits, ...)

使用tf.nn.sigmoid_cross_entropy_with_logits接口计算交叉熵

import tensorflow as tf

tf.enable_eager_execution()

def my_sigmoid_cross_entropy(labels, logits):

# z*(-log(sigmoid(x))) + (1 - z)*(-log(1 - sigmoid(x)))

result = tf.multiply(labels, -tf.log(tf.nn.sigmoid(logits))) \

+ tf.multiply(tf.subtract(1, labels), -tf