【KD】多标签“Softmax+交叉熵”的软标签版本

最新推荐文章于 2024-07-25 04:10:05 发布
最新推荐文章于 2024-07-25 04:10:05 发布
阅读量388 收藏
点赞数
分类专栏： KD论文阅读 文章标签： KD
原文链接：https://kexue.fm/archives/9064
版权
本文介绍了如何将多标签分类的“Softmax+交叉熵”损失函数推广到软标签场景。作者从多个“sigmoid+二分类交叉熵”的软标签版本出发，提出损失函数的候选形式，并证明了该形式在软标签下能够学到有意义的结果。通过具体的实现技巧，文章讨论了如何在实际应用中结合label smoothing、mixup等技巧。
摘要由CSDN通过智能技术生成

目录

简介

巧妙联系

形式猜测

证明结果

实现技巧

文章小结

参考

简介

在《将“softmax+交叉熵”推广到多标签分类问题》中，我们提出了一个用于多标签分类的损失函数：


这个损失函数有着单标签分类中“Softmax+交叉熵”的优点，即便在正负类不平衡的依然能够有效工作。但从这个损失函数的形式我们可以看到，它只适用于“硬标签”，这就意味着label smoothing、mixup等技巧就没法用了。本文则尝试解决这个问题，提出上述损失函数的一个软标签版本。

巧妙联系

多标签分类的经典方案就是转化为多个二分类问题，即每个类别用sigmoid函数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
静静喜欢大白
关注
专栏目录
订阅专栏
多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导
BrightLamp的博客
11-14 4400
相关 有关 softmax 的详细介绍, 请参考 : BrightLamp. softmax函数详解及反向传播中的梯度求导[EB/OL]. https://blog.csdn.net/oBrightLamp/article/details/83959185. 有关 cross-entropy 的详细介绍, 请参考 : BrightLamp. 通过案例详解cross-entropy交叉熵损失函数[E...
将“softmax+交叉熵”推广到多标签分类问题
qq_41898761的博客
06-17 540
在模型的最后用一个全连接层输出每个类的分数，然后用softmax激活并用交叉熵作为损失函数。指的就是单标签分类问题，即从n个候选类别中选1个目标类别。假设各个类的得分分别为s1,s2,…,sn，目标类为t∈{1,2,…,n}，那么所用的loss为 这个loss的优化方向是让目标类的得分st变为s1,s2,…,st中的最大值。即从n个候选类别中选k个目标类别。 一般方法：这种情况下我们一种朴素的做法是用sigmoid激活，然后变成n个二分类问题，用二分类的交叉熵之和作为loss。 缺点：显然，当n≫k时，这
Softmax
最新发布
weixin_36543777的博客
07-25 29
又搬了个蒸馏相关~~神经网络中的蒸馏技术“模型集成是一个相当有保证的方法，可以获得2%的准确性。“ —— Andrej Karpathy我绝对同意！然而，部署重量级模型的集成在许多情况下并不总是可行的。有时，你的单个模型可能太大(例如GPT-3)，以至于通常不可能将其部署到资源受限的环境中。这就是为什么我们一直在研究一些...
多分类问题引申到多标签分类问题（softmax+交叉熵）
Wisley的读书笔记分享
04-01 1852
最近在关注和参与了一些NLP的比赛，因为我做NLP的比赛的经验不多，所以过程中还是学习到不少知识，虽然目前名次不是特别好，但前排大佬们的分享还是能get到很多想法和知识的。 今天介绍的是苏神(苏剑林)的一篇文章，本文仅仅是笔者个人的解读和思考，如有错误，还望读者指正。   在很多类型的比赛，包括NLP的比赛中，往往会有多标签分类的问题，所谓多标签分类，就是一个样本会有多个类别属性的标签，例如：在心电的疾病诊断中，一个患者可能同时患有一种或多种类型的心脏疾病。不同于多分类任务，一般来说，我们可以把多标签任.
pytorch版损失函数，改写自科学空间文章，【通过互信息思想来缓解类别不平衡问题】、【将“softmax+交叉熵”推广到多标签分类问题】
大漠帝国的博客
08-22 1417
pytorch-loss pytorch版损失函数，改写自科学空间文章，【通过互信息思想来缓解类别不平衡问题】、【将“softmax+交叉熵”推广到多标签分类问题】 通过互信息思想来缓解类别不平衡问题 将“softmax+交叉熵”推广到多标签分类问题 1. Prior-BCE class PriorMultiLabelSoftMarginLoss(nn.Module): def __init__(self, prior=None, num_labels=None, reduction="mean
paddle硬标签交叉熵算法和软标签交叉熵算法
梁先森的博客
04-02 3754
最近在使用paddle深度学习框架进行项目实战，拿来练手的项目是手写数字集识别，所用到的损失值计算方式是交叉熵计算。但是，通过查阅paddle官网的交叉熵实现方法的api文档，发现有两种交叉熵算法，一种是硬标签交叉熵算法，另一种是软标签交叉熵算法。由于我在网上搜索相关问题，没有对应的解答，所以，我在这里将和大家讨论一下这两个交叉熵算法。
【深入浅出向】从自信息到熵、从相对熵到交叉熵，nn.CrossEntropyLoss, 交叉熵损失函数与softmax，多标签分类
a_piece_of_ppx的博客
07-21 1337
【深入浅出向】从自信息到熵、从相对熵到交叉熵，nn.CrossEntropyLoss, 交叉熵损失函数与softmax，多标签分类
对抗性鲁棒性蒸馏：强大的软标签提升小模型的鲁棒性
16443重新审视对抗性鲁棒性蒸馏：强大的软标签让学生更好Bojia Zi1，2*，ShihaoZao1，2*，Xingjun Ma3†，Yu-Gang Jiangg1，2†1复旦大学计算机学院上海市智能信息处理重点实验室2上海智能视觉计算协同创新中心3...
通过标签平滑正则化重新审视无教师知识蒸馏
Li Yuan1Francis EH Tay1Guilin Li2Tao Wang1Jiashi Feng139030通过标签平滑正则化重新审视知识蒸馏01 新加坡国立大学 2 华为诺亚方舟实验室 { ylustcnus, twangnh } @gmail.com, {mpetayeh,elefjia } @...
使用多个教师助理的密集知识蒸馏方法解决学生网络的不良学习问题
9395使用多个教师助理的密集引导知识蒸馏Wonchul Son，Jaemin Na，Junyong Choi，WonjunHwang Ajou大学，大韩{dnjscjf92，osial46，chldusxkr，wjhwang} @ ajou.ac.kr摘要随着深度神经网络的成功，指导小型学生网络...
增量学习的分离Softmax用于解决类增量学习中的遗忘和分类偏差问题
844SS-IL：用于增量学习的分离SoftmaxHongjoon Ahn1 *、Jihwan Kwak4 *、Subin Lim3、Hyeonsu Bang1、Hyojun Kim2和TaesupMoon4†1人工智能系，2电子电气工程系3韩国水原成均馆大学计算机工程系4韩国首尔国立大学...
【KD】将“softmax+交叉熵”推广到多标签分类问题
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
05-07 243
目录 简介 单标签到多标签 众里寻她千百度 组合softmax 自动确定阈值 暮然回首阑珊处 统一的loss形式 用于多标签分类 所以，结论就是 参考 简介 一般来说，在处理常规的多分类问题时，我们会在模型的最后用一个全连接层输出每个类的分数，然后用softmax激活并用交叉熵作为损失函数。在这篇文章里，我们尝试将“softmax+交叉熵”方案推广到多标签分类场景，希望能得到用于多标签分类任务的、不需要特别调整类权重和阈值的loss。 类别不平衡 单标签到
稀疏标签的交叉熵 ：tensorflow
NockinOnHeavensDoor的博客
09-15 1693
熵 ： 离散形式： H(X)≡−∑k=1KP(X=k)logP(X=k)H(X)≡−∑k=1KP(X=k)log⁡P(X=k)H(X)\equiv - \sum_{k=1}^KP(X=k)\log{P(X=k)} KL散度： KL(P||Q)=∑k=1KPklogPkQk=∑k=1KPklogPk−∑k=1KPklogQk=−H(P)+H(P,Q)//负熵+交叉熵KL(P||Q)=...
如何用softmax和sigmoid来做多类分类和多标签分类
qq_43270687的博客
06-28 1296
神经网络分类器最终结果为某一向量，即“原始输出值”，如[-0.5, 1.2, -0.1, 2.4]，这四个输出值分别对应胸部X光检查后发现的肺炎、心脏肥大、瘤和脓肿。但这些原始输出值是什么意思？ 将输出值转换为概率可能更容易理解。比起看似随意的“2.4”，患有糖尿病的可能性为91％，这种说法更便于患者理解。 Sigmoid函数或Softmax函数可以将分类器的原始输出值映射为概率。 下图显示了将前...
如何用softmax和sigmoid来做多类分类和多标签分类呢？
m0_47164948的博客
09-12 907
如何用softmax做多分类和多标签分类 现假设，神经网络模型最后的输出是这样一个向量logits=[1,2,3,4],就是神经网络最终的全连接的输出。这里假设总共有4个分类。用softmax做多分类的方法：tf.argmax(tf.softmax(logits))首先用softmax将logits转换成一个概率分布，然后取概率值最大的作为样本的分类,这样看似乎，tf.argmax(logits)同样可以取得最大的值，也能得到正确的样本分类，这样的话softmax似乎作用不大.那么softmax的主要作用.
P63~71 激活函数相关+softmax+多输出/标签分类
qq_43758383的博客
07-02 134
其实不只有这些，还有其他类型的激活函数，不过老师认为掌握视频中的已经足够了。梯度下降优化了成本函数，但激活函数也是计算的一部分，这也会导致减慢学习速度。softmax是多分类，来帮助判断car/bus/人中的哪一个，只管结果。中间的是预测股票的涨跌，因为可能出现正负，所以是采用线性的激活函数。第二：图像上来看，ReLU只有一侧是平坦的，而sigmoid是两侧。右侧是预测房价，采用了ReLU，房价不可能是负数，所以左侧全为0。而多标签是我要知道结果，并且结果的内容要标注清楚，类似目标检测。
softmax+交叉熵损失函数代码
06-10
以下是使用PyTorch实现softmax和交叉熵损失函数的示例代码： ```python import torch import torch.nn.functional as F # 定义样本标签 labels = torch.tensor([2, 0, 1]) # 定义模型预测输出，假设有3个类别 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值