Tensorflow - Cross Entropy Loss

最新推荐文章于 2022-05-24 12:07:04 发布

AIHGF

最新推荐文章于 2022-05-24 12:07:04 发布

阅读量3.9k

点赞数

分类专栏： Tensorflow 文章标签：交叉熵 Loss Tensorflow

本文链接：https://blog.csdn.net/zziahgf/article/details/80182914

版权

本文详细介绍了Tensorflow中的交叉熵损失函数，包括sigmoid_cross_entropy_with_logits、weighted_cross_entropy_with_logits、softmax_cross_entropy_with_logits（已弃用）、softmax_cross_entropy_with_logits_v2以及sparse_softmax_cross_entropy_with_logits的用途、工作原理和使用方法。这些函数适用于不同类型的分类任务，如多标签分类和多分类，并探讨了如何根据任务需求选择合适的函数。

摘要由CSDN通过智能技术生成

Tensorflow - Cross Entropy Loss

Tensorflow 提供的用于分类的 ops 有:

tf.nn.sigmoid_cross_entropy_with_logits

tf.nn.softmax

tf.nn.log_softmax

tf.nn.softmax_cross_entropy_with_logits

tf.nn.softmax_cross_entropy_with_logits_v2 - identical to the base version, except it allows gradient propagation into the labels.

tf.nn.sparse_softmax_cross_entropy_with_logits

tf.nn.weighted_cross_entropy_with_logits

其中, 交叉熵相关的损失函数有:

注: logits 表示未归一化处理的概率, 一般是 softmax 的输入, 网络输出层的输出结果.

根据应用场景中,分类目标的独立性与互斥性, 可以选择 sigmoid 或者 softmax 来实现.

1. sigmoid_cross_entropy_with_logits

作用:

计算给定 logits 的交叉熵(也叫 logistic loss).

用于离散分类任务中, 计算概率误差. 其中每个类别标签class间是相互独立, 且不互斥的.

例如, multilabel classification 问题, 每张图片中可能同时包含一头大象和一只狗.

用法:

tf.nn.sigmoid_cross_entropy_with_logits(
  _sentinel=None, # Used to prevent positional parameters. 内部参数, 不使用.
  labels=None,  # 与 logits 类型和尺寸一样的张量
  logits=None,  # type float32 or float64 的张量
  name=None )   #  op 名字, 可选参数.

计算过程:

记 $x = logits, z = labels$ , 有:

$L = z * -log(sigmoid(x)) + (1 - z) * -log(1 - sigmoid(x))$
$L = z * -log(1 / (1 + exp(-x))) + (1 - z) * -log(exp(-x) / (1 + exp(-x)))$
$L = z * log(1 + exp(-x)) + (1 - z) * (-log(exp(-x)) + log(1 + exp(-x)))$
L=z∗log(1+ex