Circle Loss解读：将softmax+交叉熵推广到多标签分类上

已于 2023-05-26 21:18:04 修改
阅读量509 收藏
点赞数
文章标签： 分类 数据挖掘 人工智能
于 2023-05-26 21:11:12 首次发布
原文链接：https://kexue.fm/archives/7359#%E7%BB%9F%E4%B8%80%E7%9A%84loss%E5%BD%A2%E5%BC%8F
版权

circle loss在实际应用中，是非常强力的。在诸如行人reid、车辆reid、人脸识别、通用细粒度检索的超大（业务）规模数据集上，它的表现是很不错的。对于circle loss的理解，可以把它看成是triplet loss+softmax ce loss形式的统一，但更大的贡献应该是巧妙地带来了多标签分类中正负样本的平衡。以下是截图自作者自己在知乎的解释：
在这里插入图片描述
以下是来自https://kexue.fm/archives/7359#%E7%BB%9F%E4%B8%80%E7%9A%84loss%E5%BD%A2%E5%BC%8F 的解释：
在这里插入图片描述
下面可以看作一个对circle loss更加巧妙的应用来增强句子相似度的问题(原始句子，相似句子，不相似句子)：
在这里插入图片描述

taoqick
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CircleLoss
小鹏AI
01-29 1793
什么是CircleLoss CircleLoss来源于旷视研究院《Circle Loss: A Unified Perspective of Pair Similarity Optimization》 论文链接地址：https://arxiv.org/abs/2002.10857 CircleLoss是从相似性优化的角度，正式统一了两种基本学习范式（分类学习和样本对学习）下的损失函数 通过进一步泛化，CircleLoss获得了更灵活的优化途径及更明确的收敛目标，提高了所学特征的鉴别能力 Circle
Circle-Loss:Tensorflow2实现CircleLoss。支持类级，稀疏类级，成对标签
03-21
tf2环损工具 的非官方Tensorflow2实现 本文的解释记录在 添加论文 本文的解释记录在 支持班级标签 支持稀疏的类级别标签 支持成对标签 经过实验验证 用法 from circle_loss import SparseCircleLoss , CircleLoss , PairCircleLoss # General usage model . compile ( loss = CircleLoss ( gamma = 64 , margin = 0.25 ), optimizer = k . optimizers . Adam (), metrics = [ k . metrics . CategoricalAccuracy ( 'acc' )]) # For Sparse Categorical such as face recogniti
多分类问题引申到多标签分类问题（softmax+交叉熵）
Wisley的读书笔记分享
04-01 1795
最近在关注和参与了一些NLP的比赛，因为我做NLP的比赛的经验不多，所以过程中还是学习到不少知识，虽然目前名次不是特别好，但前排大佬们的分享还是能get到很多想法和知识的。 今天介绍的是苏神(苏剑林)的一篇文章，本文仅仅是笔者个人的解读和思考，如有错误，还望读者指正。   在很多类型的比赛，包括NLP的比赛中，往往会有多标签分类的问题，所谓多标签分类，就是一个样本会有多个类别属性的标签，例如：在心电的疾病诊断中，一个患者可能同时患有一种或多种类型的心脏疾病。不同于多分类任务，一般来说，我们可以把多标签任.
circle loss
qq_42316533的博客
10-16 1690
circle loss@学习笔记 #前两天看了circle loss这篇文章，在此做个笔记 circle loss论文下载地址 triplet loss、softmax loss最大化类内相似度Sn、最小化类间相似度Sp。这篇文章首先对两种基本的深度特征学习（类别标签学习和样本对标签学习）有统一的范式。 首先做个预定义：对于特征空间中的单个样本x，假设存在与x相关的K个类内相似度评分和L个类间相似度评分。将这些相似度评分分别表示为{sip}(i = 1,2，···，K)和{sjn}(j = 1,2，···，
Circle Loss
dbdxwyl的博客
11-18 3158
1.三元组损失定义 F. Schroff, D. Kalenichenko, and J. Philbin. FaceNet: A Unified Embedding for Face Recognition and Clustering. In CVPR, 2015. 其中xa指anchor样本，xp为anchor的正样本，xn为anchor的负样本，α为正常数。 困难（N<P）,一般（P>N && Loss>0）,简单（P>N &&.
pytorch版损失函数，改写自科学空间文章，【通过互信息思想来缓解类别不平衡问题】、【将“softmax+交叉熵”推广到多标签分类问题】
大漠帝国的博客
08-22 1392
pytorch-loss pytorch版损失函数，改写自科学空间文章，【通过互信息思想来缓解类别不平衡问题】、【将“softmax+交叉熵”推广到多标签分类问题】 通过互信息思想来缓解类别不平衡问题 将“softmax+交叉熵”推广到多标签分类问题 1. Prior-BCE class PriorMultiLabelSoftMarginLoss(nn.Module): def __init__(self, prior=None, num_labels=None, reduction="mean
PyTorch: Softmax多分类实战操作
09-16
在多分类问题中，常用的损失函数是交叉熵损失`nn.CrossEntropyLoss()`，它结合了LogSoftmax和负对数似然损失。优化器可以选择Adam或SGD等，如`optim.SGD(model.parameters(), lr=0.001)`。接着，我们可以在训练集上...
基于softmax+k折验证的iris数据分类 pytorch实现
04-04
基于softmax+k折验证的iris数据分类 pytorch实现
PyTorch的SoftMax交叉熵损失和梯度用法
09-18
在PyTorch中，我们可以利用`torch.nn.functional.softmax`或`torch.nn.LogSoftmax`来计算SoftMax，然后结合`torch.nn.functional.nll_loss`（负对数似然损失，它实际上是对多分类交叉熵损失的一种实现）来计算损失。...
softmax多分类.rar
03-21
它不仅用于模型的前向传播过程中，还常用于损失函数的计算，如交叉熵损失（cross-entropy loss），这是许多多分类问题的标准损失函数。在反向传播时，softmax的导数也会被用来更新模型的参数。因此，深入理解softmax...
人脸识别Loss：Circle Loss
u013250861的博客
06-15 404
人脸识别的关键是在最大化类内相似度的同时，最小化类间的相似度，如果以 [公式] 为类内相似度，以 [公式] 为类间相似度的话，那么人脸识别的目标可以简化为最小化[公式] 。作者用[公式] 总结归纳了人脸识别的目标，这个看起来显然的目标在Circle Loss之前，分了两类。一类是基于对的Loss，以Triplet为代表，Triplet的目标是 [公式] 。基于对的Loss在表现形式上和目标的形式很接近。参考资料： 人脸识别Loss：Circle Loss......
Circle loss
qq_35632035的博客
01-30 6305
Circle loss 主要有以下亮点可以做相关的详细描述。 首先第一点circle loss是基于triplet loss，改进而来的一种新型的loss定义。它的改进点在于，原本triplet loss对于正负样本采用平均用力的方式进行优化。使得在模型收敛的时候，对于正负样本的区分力度不够。Circle loss 在正负样本对加入了一个权重，控制正负样本对各自的梯度贡献，最后就可以得到一个更有区分力度的模型。 随后第二点，circle loss 在实现的过程中，同样借鉴了arc fac...
深度学习_深度学习基础知识_使用softmax和sigmoid来做多分类和多标签分类
欢迎大家关注我
07-04 1551
多分类和多标签分类的区别 多分类： 一个样本属于且只属于多个分类中的一个，一个样本只能属于一个类，不同类之间是互斥的，比如图片中一个狗只能被划分成狗，不能被划分成猫。 多标签分类： 一个样本可以属于多个类别（或标签），不同类之间有关联，比如一个电动车可以被划分成“电动车”和“车”，这连个标签不是互斥的，而是有关联的。 用softmax做多分类和多标签分类 我们假设，一个神经网络模型最后的输出是一个向量logits = 【1，2，3，4】，这个就是神经网络全连接层的输出。我们假设一共有4个类别。 softma
Circle loss和不定分类的loss
我的备忘录
06-17 594
冷不丁看名字眼生, 瞄了眼论文想起来了. 为了方便在此做个引子, 方便查找. 建议读这个博客,仰望大神. 知乎的解释, 论文作者也有回答. 引子 k分类问题该怎么设计loss? 选择circle loss. 它能让正负例同时效劳, 并逼迫网络让负例更小, 正例更大, 直到所有正例的概率大于所有负例的概率. 这比传统的loss有更高的要求, 且是一步步推导出来的, 可解释性很强. 对于k不确定的分类, 又怎么办? 可以设置一个标签s0, 令所有正例的s比s0大, 所有负例的s比s0小. 只需稍微修改loss,
将“softmax+交叉熵”推广到多标签分类问题
qq_41898761的博客
06-17 525
在模型的最后用一个全连接层输出每个类的分数，然后用softmax激活并用交叉熵作为损失函数。指的就是单标签分类问题，即从n个候选类别中选1个目标类别。假设各个类的得分分别为s1,s2,…,sn，目标类为t∈{1,2,…,n}，那么所用的loss为 这个loss的优化方向是让目标类的得分st变为s1,s2,…,st中的最大值。即从n个候选类别中选k个目标类别。 一般方法：这种情况下我们一种朴素的做法是用sigmoid激活，然后变成n个二分类问题，用二分类的交叉熵之和作为loss。 缺点：显然，当n≫k时，这
【KD】将“softmax+交叉熵”推广到多标签分类问题
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
05-07 233
目录 简介 单标签到多标签 众里寻她千百度 组合softmax 自动确定阈值 暮然回首阑珊处 统一的loss形式 用于多标签分类 所以，结论就是 参考 简介 一般来说，在处理常规的多分类问题时，我们会在模型的最后用一个全连接层输出每个类的分数，然后用softmax激活并用交叉熵作为损失函数。在这篇文章里，我们尝试将“softmax+交叉熵”方案推广到多标签分类场景，希望能得到用于多标签分类任务的、不需要特别调整类权重和阈值的loss。 类别不平衡 单标签到
CVPR 2020 Oral | 旷视研究院提出Circle Loss，革新深度特征学习范式
旷视开发者技术社区
03-26 884
IEEE国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern...
【论文简介】Circle Loss: A Unified Perspective of Pair Similarity Optimization
victorygod的专栏
07-20 793
Circle Loss: A Unified Perspective of Pair Similarity Optimization 旷世cvpr2020的一篇文章，站在更高的视角，统一了deep feature learning的两大基础loss：基于class-level label的loss（如softmax + cross entropy）和基于pair-wise label的loss（如triplet loss），指出了这二者没有本质差异，都是在最小化类间相似度（记为Sn），最大化类内相似度（记
【ReID】Circle Loss: A Unified Perspective of Pair Similarity Optimization
锥栗的博客
05-07 1038
Circle Loss: A Unified Perspective of Pair Similarity Optimization痛点模型1）统一Triplet和softmax的损失函数2）退化为Softmax loss3）退化为Triplet Loss4）对比Triplet/Softmax loss的梯度5）Circle Loss6）削减超参数7）对比Circle Loss的梯度实验写作问题参......
softmax+交叉熵损失函数代码
最新发布
06-10
以下是使用PyTorch实现softmax和交叉熵损失函数的示例代码： ```python import torch import torch.nn.functional as F # 定义样本标签 labels = torch.tensor([2, 0, 1]) # 定义模型预测输出，假设有3个类别 outputs = torch.tensor([[0.1, 0.2, 0.7], [0.9, 0.05, 0.05], [0.2, 0.7, 0.1]]) # 计算softmax probs = F.softmax(outputs, dim=1) # 计算交叉熵损失函数 loss = F.cross_entropy(outputs, labels) print('输出概率值：\n', probs) print('交叉熵损失函数值：\n', loss) ``` 输出结果如下： ``` 输出概率值： tensor([[0.2500, 0.2853, 0.4647], [0.6590, 0.1714, 0.1696], [0.3064, 0.5019, 0.1917]]) 交叉熵损失函数值： tensor(1.1087) ``` 其中，`F.softmax`函数用来计算softmax，`dim=1`表示在每行上计算，得到每个类别的概率值。`F.cross_entropy`函数用来计算交叉熵损失函数，第一个参数为模型预测输出，第二个参数为样本标签。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值