Binary Cross Entropy真的适合多标签分类吗？

已于 2022-05-15 17:44:07 修改
阅读量1.1k 收藏 2
点赞数 1
分类专栏： 文本分类 文章标签： 机器学习 深度学习 分类
于 2022-05-15 17:43:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tobi_Obito/article/details/124784243
版权
本文探讨了在多标签分类任务中使用Binary Cross Entropy（BCE）损失函数的问题。作者指出，BCE在标签稀疏的情况下可能导致模型学习到无关信息，因为即使标签为0的位置也会对模型训练产生影响。相比之下，多分类任务的CrossEntropy损失只关注标签为1的位置。这种现象在标签数量较少的情况下会减弱模型学习真正有用特征的能力。因此，BCE对于多标签分类可能并不理想。
摘要由CSDN通过智能技术生成

个人曾在负责一个多标签文本分类项目时对于多标签分类(multi-label classification)的loss选择、forward尾层处理感到迷惑，当时查找了一下资料确定了一种方案：

1、以类别数作为最后隐层输出节点数，以sigmoid激活。这样其实就相当于将每个类别视为1个二分类任务，最后隐层的输出每个位置对应一个类别。也正因为如此，用sigmoid而不能用softmax（softmax没有把每个节点视为相互独立的，相反，会导致相互影响）。

2、采用Binary Cross Entropy loss进行训练。如果视最后一个隐层的每个节点对应一个类别的1/0分类，那BCE loss确实是再自然不过的选择了。但这样真的好吗？我给出的答案是不尽然，并且标签越稀疏越差。

关键问题引出

不妨对比一下BCE和用于多分类任务的CrossEntropy在示例样本的表现：（为了直观，这里不贴各自的公式了，满地都是，在这里无助于理解本关键点，还是直接以计算示例突出关键）

多分类任务-CE

label：[0,1,0,0]

pred：[0.3, 0.67, 0.4, 0.25]

CE loss = 0 x log(0.3) + 1 x log(0.67) + 0 x log(0.4) + 0 x log(0.25)

关键区别特征：以CE作为loss时，对于模型学习有效的部分仅为label=

最低0.47元/天 解锁文章
Tobi_Obito
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
BCE loss & SCE loss
aCuteCat__的博客
03-07 409
N样本数量，C类别数量，zij是模型对样本i预测为类别j的得分，yi是label_cls。适用于输出是概率值（范围在0到1之间）的情况，通常用于最后一层使用。用于多分类问题，其中每个样本可以被分为多个类别。适用于输出是类别的索引的情况，通常用于最后一层使用。用于二分类问题，其中每个样本只能被分为两个类别。N样本数量，yi是gt，pi是模型预测概率。
快速理解binary cross entropy 二元交叉熵
Cy_coding的博客
05-05 5万+
二元交叉熵损失函数原理
对 Binary Cross Entropy Loss 的理解
weixin_44384491的博客
09-29 1045
Binary Cross Entropy Loss
【笔记】BCE Loss:Binary Cross Entropy
nyist_yangguang的博客
03-07 501
资料1： 代码示例 下面为一个简单的示例： import torch import random from torch import nn random.seed(0) torch.manual_seed(0) input = torch.randn(3, 3) out = torch.sigmoid(input) target = torch.FloatTensor([[0, 1, 1], [0, 0, 1], ..
TensorFlow深入了解损失函数Categorical Cross-Entropy Loss、Binary Cross-Entropy Loss等
XerCis的博客
07-20 3880
深度学习中各种各样的损失函数容易让人混淆，根据任务对它们分门别类便于理解。二分类BinaryCrossentropy，多分类CategoricalCrossentropy，目标检测GIoULoss，回归MeanSquaredError
交叉熵损失
梦想天空
09-24 4711
在分类的任务中，往往会使用交叉熵损失函数。对于二分类，使用的是binary_crossentropy，在多分类的任务中，使用的时sparse_categorical_crossentropy和categorical_crossentropy，本文将详细的介绍这三种损失函数
Keras中的多分类损失函数用法categorical_crossentropy
09-16
本文主要讨论Keras中用于多分类任务的损失函数`categorical_crossentropy`，以及它与`binary_crossentropy`的区别和应用。 `categorical_crossentropy`是Keras中常用的损失函数，特别适用于处理多分类问题。在多...
细数nn.BCELoss与nn.CrossEntropyLoss的区别
09-17
nn.BCELoss（Binary CrossEntropy Loss）和nn.CrossEntropyLoss是PyTorch中常用的两种损失函数，它们在处理分类问题时有着不同的应用场景和计算方式。 nn.BCELoss主要用于二分类问题，它的全称是Binary Cross...
Keras多标签多分类的验证码训练集
01-29
3. **编译与训练**：模型编译阶段，我们需要设置损失函数（如`binary_crossentropy`，适用于多标签分类）、优化器（如`Adam`，其自适应学习率有助于模型快速收敛）和评估指标（如`accuracy`）。然后，使用`model.fit...
多标签分类数据集——衣服鞋子.zip
02-23
在多标签分类任务中，常用的损失函数有Binary Cross-Entropy、Multilabel Softmax Loss和Jaccard Loss等，选择合适的损失函数对优化过程至关重要。 在训练过程中，可以采用早停法、验证集监控、学习率调整等策略来...
基于tf.keras的多标签多分类模型.zip
04-03
多标签分类通常使用二元交叉熵损失函数（binary_crossentropy），并关注平均精度（average precision, mAP）或F1分数作为评估指标。优化器可以选择Adam，这是一种常用的梯度下降优化算法。 ```python model.compile...
使用keras二分类与多分类任务中'binary_crossentropy'与categorical_crossentropy
Mr_wuliboy的博客
06-30 9878
简单地说，'binary_crossentropy'不能用于多分类任务，如果使用了所得到的Accuary是不对的没有意义，如果多分类任务应该使用categorical_crossentropy
多标签分类与binary_cross_entropy_with_logits
ab0902cd的博客
04-25 1万+
1. binary_cross_entropy_with_logits可用于多标签分类 torch.nn.functional.binary_cross_entropy_with_logits等价于torch.nn.BCEWithLogitsLoss torch.nn.BCELoss+torch.nn.Sigmoid 等价于torch.nn.BCEWithLogitsLoss 在pytorch中torch.nn.functional.binary_cross_entropy_with_log...
损失函数 | BCE Loss（Binary CrossEntropy Loss）
热门推荐
Just_do_myself的博客
03-10 11万+
BCE（Binary CrossEntropy）损失函数图像二分类问题--->多标签分类Sigmoid和Softmax的本质及其相应的损失函数和任务多标签分类任务的损失函数BCEPytorch的BCE代码和示例总结 图像二分类问题—>多标签分类 二分类是每个AI初学者接触的问题，例如猫狗分类、垃圾邮件分类…在二分类中，我们只有两种样本（正样本和负样本），一般正样本的标签y=1，负样本的标签y=0。比如下边这张图片，判断里边有没有人。 那么这张图片的标签为y=1，这时我们就根据标签y=1来设计模型
损失函数binary_crossentropy和categorical_crossentropy在单标签多分类模型中评价效果差异较大的原因
klklklbk的博客
06-03 5367
在cifar100数据集进行分类建模的时候在相同模型和数据上发现损失函数binary_crossentropy和categorical_crossentropy在测试集上效果差异较大， 在网上多方查阅之后发现原因如下，参考来源https://zhuanlan.zhihu.com/p/48078990 原文如下 在运行keras的代码时，发现一个有趣的现象，当使用binary_crossentropy和categorical_crossentropy时，其日志中输出的acc有较大差异，后经多方查阅，发现原因
分类问题的评估（二分类&多分类）
weixin_44285715的博客
01-04 3710
一、准确率 metrics.accuracy_score(y_true=y_true, y_pred=y_pred) 二、平均准确率 针对不平衡数据，对n个类，分别计算每个类别的准确率，然后求平均值。 metrics.average_precision_score(y_true=y_true, y_score=y_pred) 三、基于相似度的评价指标 3.1 log-loss...
tensorflow2.x里面BinaryCrossentropy的实现
sdhdsf132452的博客
03-17 208
Lossytrue×−logsigmoidypred))1−ytrue×−log1−sigmoidypred))（这是基于y_pred是logits的情况，如果已经经过了sigmoid就不需要再用sigmoid处理了）如果有多个batch_size，取平均值。
机器学习Day10:聚类
最新发布
weixin_52108189的博客
07-02 764
成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性尽可能大。如下图所示，由于a、b某特征有相似之处，将他们聚类一类，以此类推。改变样本和簇的隶属关系，使得每一次改进后的划分方法都比前一次。当簇近似于高斯分布时效果好。基本思想：对于给定的类别数据k首先给出。聚类是按照某个特定标准把一个数据集。典型算法：DBSCAN算法。代表：k-means算法。可被定义时才能使用；，直到满足某种条件为止。：对给定的数据集进行。
binary cross entropy
03-16
二元交叉熵（binary cross entropy）是一种用于衡量两个概率分布之间差异的度量方法，常用于二分类问题中的损失函数。它的计算方式是将真实标签和预测标签的概率分布分别代入交叉熵公式中，得到一个数值作为损失值，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值