基于类的有效数抽样CBEN

已于 2022-05-23 21:33:27 修改
阅读量3k 收藏
点赞数
分类专栏： 数据不均衡&长尾学习 文章标签： 深度学习 计算机视觉 图像处理
于 2022-04-21 19:35:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40310050/article/details/124329439
版权
本文探讨了长尾视觉识别问题，通过Gaussian Clouded Logit Adjustment（GCL）调整softmax损失函数，以解决训练过程中尾部类别的分类器权重被过度惩罚的问题。提出了一种名为基于类的有效数抽样（CBEN）的方法，以避免尾部类别的过度训练，确保不同类别样本的有效参与训练，从而提高尾部类别的分类精度。
摘要由CSDN通过智能技术生成

《Long-tailed Visual Recognition via Gaussian Clouded Logit Adjustment》

论文：链接: link
代码： 链接: link
设{x, y}∈T表示训练集T中的一个样本{x, y}， C类中有N个样本，且y∈{1，…， C}是ground truth标签。输入图像x的softmax损失函数为:
在这里插入图片描述

其中zj表示类j的预测logit。我们用下标y表示目标类，即zy表示目标logit, zj表示非目标logit, j≠ y表示非目标logit。

在反向传播中，zi上的梯度由:

在这里插入图片描述

在不损失一般性的情况下，我们使用二进制分类来说明。假设x来自第1类，则z1上的梯度计算为:
在这里插入图片描述

3.3 Classifier Re-ba

最低0.47元/天 解锁文章
一颗仙桃儿
关注
专栏目录
HTTP报文数据检测与分类方案总结
herosunly的博客
03-18 1万+
今天给大家讲解的内容为HTTP报文数据检测与分类方案总结，希望对大家有所帮助。 文章目录 1. 背景介绍 2. 机器学习方案 2.1 方案概览 2.2 特征构建 2.3 特征筛选 2.4 模型构建 2.5 实验效果 3. 深度学习方案 3.1 神经网络架构 3.2 预处理 3.3 embedding 3.4 其他层 3.5 训练技巧 3.6 实验效果
多个数求平均值（编程入门题-C/C++&Java&Python实现）
热门推荐
一键难忘的博客
04-10 1万+
多个数求平均值（编程入门题-C/C++&Java&Python实现） 确定用户输入的m个数的平均值。 输入 先给出数据的组数T，对于每组数据，输入有两行，第一行是用户要输入的数的个数m（m
论文笔记：ALA loss：Adaptive Logit Adjustment Loss for Long-Tailed Visual Recognition
m0_57459724的博客
08-02 1139
Adaptive Logit Adjustment Loss for Long-Tailed Visual Recognition
论文阅读：Long-Tailed Visual Recognition via Self-Heterogeneous Integration withKnowledge Excavation
m0_56224713的博客
05-10 816
真实世界的数据经常显示出长尾分布，普通的深度模型倾向于严重偏向大多数类。为了解决这个问题，最先进的方法通常采用混合专家(MoE)来关注长尾分布的不同部分。这些方法的专家具有。为此，我们提出了一种新的基于moe的知识挖掘自异构集成方法。我们首先提出了(depth - wise Knowledge Fusion, DKF)方法，将每个专家在一个网络中不同浅部和深度部之间的特征进行融合，使得专家在表示方面更加多样化。在DKF的基础上，我们进一步提出了。
机器学习笔记（二）——分类器之优缺点分析
ylin01234的博客
07-23 5557
原始数据中存在着大量不完整、不一致、有异常的数据，须进行数据清洗。数据清洗主要是删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值、异常值。 http://baijiahao.baidu.com/s?id=1581755863609513980&wfr=spider&for=pc 一、线性分类器： f=w^T+b / logistic ...
人工智能与机器学习-分类器
missbearC的博客
04-27 1401
机器学习基础第三章-分类器 一、查准率?查全率？ 查准率（Precision）（精度）是衡量某一检索系统的信号噪声比的一种指标，即检出的相关文献与检出的全部文献的百分比。普遍表示为：查准率=（检索出的相关信息量/检索出的信息总量）x100%。 查全率（召回率），是衡量某一检索系统从文献集合中检出相关文献成功度的一项指标，即检出的相关文献与全部相关文献的百分比。普遍表示为：查全率=（检索出的相关信息...
机器学习中的分类器的性能指标
格物致知的专栏 [音视频编解码 网络协议 计算机视觉 计算机图形学 图像理解 语音识别 机器学习 模拟电路 传感器]
07-10 638
机器学习中的分类器的性能指标，也是实验结果的常用评价标准。 主要有精度，召回率，准确率。此外还有平均精度AP、平均精度均值mAP和综合评价指标F1-Measure(或F1-Score)。曲线有CMC(Cumulative Match Characteristic)和ROC(Receiver Operating Characteristic)两种。CMC曲线的横坐标是Rank Score，纵坐标是...
论文研究-基于BSMOTE和逆转欠抽样的不均衡数据分类算法.pdf
07-22
针对传统分类器在数据不均衡的情况下分类效果不理想的缺陷，为提高分类器在不均衡数据集下的分类性能，特别是少数类样本的分类能力，提出了一种基于BSMOTE和逆转欠抽样的不均衡数据分类算法。该算法使用BSMOTE进行过...
高速ADC时钟jitter对信噪比和有效位数的影响
a2447944219的博客
03-31 6508
高速ADC时钟jitter求解      高速ADC的时钟jitter会影响高速ADC的信噪比SNR，而信噪比决定了模拟前端输入的有效范围。所以需要先确定模拟前端的有效输入范围，然后确定应该满足的SNR，然后推导出时钟jitter。 一、模拟前端动态输入范围和有效位ENOB的关系                                       假设ADC的最大输入幅度是Vpp
Python基于深度学习的手写数字识别
qq_41094877的博客
05-08 8174
Python基于深度学习的手写数字识别1.代码的功能和运行方法2. 网络设计3.训练方法4.实验结果分析5.结论 1.代码的功能和运行方法 代码可以实现任意数字0-9的识别，只需要将图片载入网络，或者用鼠标绘画，都可以预测其数字。 1.首先下载压缩包所有文件，安装pytorch，pytorch的安装教程可以在pytorch官网找到（https://pytorch.org/）。 2.然后打开编辑器（...
Long-tailed Recognition (长尾问题)
连理o的博客
11-03 1万+
Ref: Long-Tailed Classification (1) 长尾 (不均衡) 分布下的分类问题简介 目录Long-Tailed Classification Long-Tailed Classification 长尾数据 在传统的分类和识别任务中，训练数据的分布往往都受到了人工的均衡，即不同类别的样本数量无明显差异。一个均衡的数据集固然大大简化了对算法鲁棒性的要求，也一定程度上保障了所得模型的可靠性，但随着关注类别的逐渐增加，维持各个类别之间均衡就将带来指数增长的采集成本 举个简单的例子.
Long tailed 长尾分布论文汇总
adf1179的博客
04-14 6327
什么是长尾分布？ 长期以来研究人员做图像、文本分类时使用的大多是均衡数据集：MNIST， CIFAR 10， CIFAR 100等，但是现实生活中的数据分布是非常不均衡的。有的类会占绝大多数，有的类别却很少出现。如果对这种分布不加以考虑，会导致尾部类别（tail）的预测结果受到很大影响，会严重的偏向头部类（head），如图所示： 目前对于长尾分布已经有很多工作去优化、考虑，在这里对最近自己看的论文进行总结。 计算机视觉 Class-Balanced Loss Based on Effective Num
【机翻】MetaSAug: Meta Semantic Augmentation for Long-Tailed Visual Recognition
zzbro
04-01 1492
MetaSAug: Meta Semantic Augmentation for Long-Tailed Visual Recognition Abstract 现实世界的训练数据通常表现为长尾分布，其中几个大多数类的样本数量显著多于其余少数类。这种不平衡降低了为平衡训练集设计的典型监督学习算法的性能。在本文中，我们利用最近提出的隐式语义数据增强(ISDA)算法来增强少数类来解决这个问题，该算法通过沿着多个语义有意义的方向翻译深层特征来产生多样化的增强样本。重要的是，考虑到ISDA估计类条件统计数据来获得
【Scikit-Learn 中文文档】高斯过程 - 监督学习 - 用户指南 | ApacheCN
妳那伊抹微笑的专栏
11-21 1186
1.7. 高斯过程 高斯过程 (GP) 是一种常用的监督学习方法，旨在解决*回归问题*和*概率分类问题*。 高斯过程模型的优点如下： 预测内插了观察结果（至少对于正则核）。 预测结果是概率形式的（高斯形式的）。这样的话， 人们可以计算得到经验置信区间并且据此来判断是否需要修改（在线拟合，自适应） 在一些区域的预测值。 通用性: 可以指定不同的:ref:内核(kernels)<gp_kernels>。 虽然该函数提供了常用的内核，但是也可以指定自定义内核。
论文阅读Adaptive Logit Adjustment Loss for Long-Tailed Visual Recognition
qq_40310050的博客
05-30 1297
AAAI 2022 论文：https://arxiv.org/pdf/2104.06094v2.pdf 摘要 现实世界中的数据往往呈现出长尾标签分布，这对视觉识别中的神经网络训练提出了巨大挑战。 现有方法主要从数据量的角度来解决这个问题，即每个类中的样本数。具体来说，他们更关注尾类，比如对 logit 进行更大的调整。 然而，在训练过程中，数据的数量和难度是两个相互交织、同样至关重要的问题。对于一些尾类来说，它们的实例的特征是鲜明的，有判别力的，也能带来满意的准确率；对于一些头类，虽然有足够的样本，但与其他
pycharm调试知识， 线程进程与深度学习
小泽爱刷题的博客
09-10 1199
多线程在深度学习中主要用于I/O 密集型任务，如数据加载和预处理，以防止数据成为训练过程中的瓶颈。多进程常用于克服 GIL 的限制，处理 CPU 密集型任务，以及在分布式训练中并行化模型训练。GPU 并行计算是深度学习的核心，主要负责大规模矩阵运算和模型训练，并行性是由 GPU 硬件架构提供的，而不是通过 Python 的多线程机制。因此，深度学习中多线程的应用主要集中在数据加载、推理服务和辅助任务，而核心计算则由 GPU 完成并行化处理。多进程。
【Python机器学习】循环神经网络（RNN）——审察模型内部情况
weixin_39407597的博客
09-10 655
Keras附带了一些工具，比如model.summary()，用于审察模型内部情况。随着模型变得越来越复杂，我们需要经常使用model.summary()，否则在调整超参数时跟踪模型内部的内容的变化情况会变得非常费力。
深度学习：怎么看pth文件的参数
weixin_59815450的博客
09-07 519
你需要有创建这个.pth文件时所用的模型的代码。这意味着你需要有模型的类定义和架构。
LSTM处理时序数据：深入解析与实战
最新发布
异构算力老群群（在读985计算机博士生）的技术博客
09-10 1107
LSTM，全称为Long Short-Term Memory，是一种特殊的RNN结构，旨在解决传统RNN在处理长序列时容易出现的梯度消失或爆炸问题。LSTM通过引入“门”机制和细胞状态，使得网络能够更好地保留长期记忆。
ADC有效位数测量：原理与方法
该资源主要涉及ADC（Analog-to-Digital Converter，模数转换器）有效位数的测量，旨在让学习者掌握ADC性能参数的评估方法，包括使用Quartus II和Matlab进行设计与分析，以及了解ADC电路和数字前端调理电路的设计。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值