深度学习论文: Decoupling Representation and classifier for long-tailed recognition及其PyTorch实现

最新推荐文章于 2024-02-28 20:31:12 发布
最新推荐文章于 2024-02-28 20:31:12 发布
阅读量5.7k 收藏 33
点赞数 5
分类专栏： Paper Reading Deep Learning Machine Learning 文章标签： 深度学习 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shanglianlm/article/details/105973699
版权

Decoupling Representation and classifier for long-tailed recognition
PDF:https://arxiv.org/pdf/1910.09217.pdf
PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks
Official :https://github.com/facebookresearch/classifier-balancing

1 概述

在学习分类任务的过程中，将通常默认为联合起来学习的类别特征表征与分类器解耦（decoupling），寻求合适的表征来最小化长尾样本分类的负面影响。

作者将分类网络分解为representation learning 和 classification 两部分，系统的研究了这两部分对于Long-tailed问题的影响。通过实验得到的两点发现是：
数据不均衡问题不会影响高质量Representations的学习。即，random sampling策略往往会学到泛化性更好的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
mingo_敏
关注
专栏目录
订阅专栏
深度学习论文: Task-Specific Context Decoupling for Object Detection及其PyTorch实现
mingo_敏
03-14 2137
目标检测还需要定位出图像中每个感兴趣目标所在的位置和类别信息，但是定位和分类两个子任务对特征上下文的偏好并不一致，其中，定位需要更多的边界感知特征来准确地回归边界框，而分类任务则需要更多的语义上下文信息。两者之间存在一种空间不对齐(spatial misalignment)的问题。通过实验，作者提出全连接头可能更适合分类任务，而卷积头则更适合定位任务，这是因为fc-head比conv-head具备更高的空间敏感性，具有更强的区分完整对象和部分对象的能力，但对于回归整个对象并不稳健。
论文笔记：DECOUPLING REPRESENTATION AND CLASSIFIER FOR LONG-TAILED RECOGNITION
weixin_40371649的博客
12-02 775
原文地址 代码 本文来自ICLR20。对长尾识别，通常是joint学习，就是representation和分类一起进行。 本文的创新点就在于打破这个固有认识。 现有类平衡策略三种维度：损失重采样，数据重采样，学习从头到尾转换（迁移学习）。 第一种损失在各类别上不同，各类别的损失权重不同，难样本(hard example)需要更加重视。 第二种数据分布再平衡。头类的欠采样、尾类的过采样和数据实例的重加权。 第三种将头部知识应用到尾部分类。 问题 视觉现象遵循长尾分布，许多标准方法都无法正确建模，从而导致准确性
解耦表征与分类器：DECOUPLING REPRESENTATION AND CLASSIFIER FOR LONG-TAILED RECOGNITION（ICLR2020）
qq_36616304的博客
05-23 4977
简介 论文出自ICLR2020，新加坡国立大学和 Facebook AI联合著作。 代码：https://github.com/facebookresearch/classifier-balancing. 摘要 视觉世界的长尾分布对于基于深度学习的分类模型如何处理类不平衡问题提出了巨大的挑战。现有的解决方案通常涉及类平衡策略，例如通过损失加权，数据重新采样或将学习从头到尾的类迁移到其他类别，但其中大多数坚持联合学习表示和分类的方案。在这项工作中，我们将学习过...
Decouping representation and classifier for long-tailed recognition
丶小祖宗的博客
04-15 1766
文章目录前言本文 论文地址：https://arxiv.org/abs/1910.09217 代码：https://github.com/facebookresearch/classifier-balancing 发表在ICLR2020 前言 生活中几乎所有能收集到的数据大多都符合长尾分布，虽然视觉在标准数据集上取得了不错的效果，但是在不均衡的长尾分布数据集上还需要进一步的研究。 本文 ...
Decoupling Representation and Classifier for Long-tailed Recognition
MTandHJ的博客
03-01 849
文章目录概主要内容Sampling分类器代码 Kang B., Xie S., Rohrbach M., Yan Z., Gordo A., Feng J. and Kalantidis Y. Decoupling representation and classifier for long-tailed recognition. In International Conference on Learning Representations (ICLR), 2014. 概 本文通过拆解特征学习和分类器
Decoupling Representation and Classifier for Long-Tailed Recognition
qq_41973062的博客
05-05 723
long tailed论文整理
长尾分布之DECOUPLING REPRESENTATION AND CLASSIFIER FOR LONG-TAILED RECOGNITION
画心
11-08 1170
原始文档：https://www.yuque.com/lart/papers/drggso ICLR 2020的文章. 针对长尾分布的分类问题提出了一种简单有效的基于re-sample范式的策略. 提出的方法将模型的学习过程拆分成两部分:representation learning 和 classification. 对于前者, 则将完整的模型在原始的数据分布上进行训练, 即instance-balanced (natural) sampling, 从而学习_the best and most gene.
Decoupling Representation and Classifier for Long-Tailed Recognition 图像领域长尾分布分类问题方法
Jay_Tang的博客
01-08 1355
文章目录IntroductionRecent DirectionsSampling StrategiesMethods of Learning ClassifiersClassifier Re-training (cRT)Nearest Class Mean classifier (NCM)τ\tauτ-normalized classifier (τ(\tau(τ-normalized)ExperimentsDatasetsEvaluation ProtocolResultsSampling matter
论文阅读《Deep Long-Tailed Learning: A Survey》综述（一）
qq_40310050的博客
07-18 1698
Deep Long-Tailed Learning: A Survey 深度长尾学习是视觉识别中最具挑战性的问题之一，旨在从大量遵循长尾类分布的图像中训练出表现良好的深度模型。在过去的十年中，深度学习已经成为学习高质量图像表征的强大识别模型，并在通用视觉识别方面取得了显著的突破。 然而，长尾类不平衡是实际视觉识别任务中的一个常见问题，它往往限制了基于深度网络的识别模型在实际应用中的实用性，因为它们很容易偏向优势类，而在尾部类上表现不佳。 为了解决这个问题，近年来进行了大量的研究，在深度长尾学习领域取得了可喜
论文阅读：Decoupling Representation and Classifier for Long-Tailed Recognition
qq_44317766的博客
01-16 1211
论文概述： 将分类网络分解为representation learning 和 classification 两部分，然后探究了一下这两个部分对于long-tailed问题的影响。根据实验结果可以发现： 数据不平衡问题不会影响高质量的representation的学习，因为Instance-balanced sampling（random sampling）策略往往会学到泛化性更好的representations 使用简单的Instance-balanced sampling来学习representati
【论文笔记】Decoupling Representation and Classifier for Long-Tailed Recognition
sinat_38213499的博客
02-28 473
现状：Existing solutions usually involve class-balancing strategies, e.g. by loss re-weighting, data re-sampling, or transfer learning from head- to tail-classes, but most of them adhere to the scheme of jointly learning representations and classifiers.
Decoupling Representation and Classifier for Lont-Tailed Recognition
Fan9_的博客
05-14 696
Decoupling Representation and Classifier for Lont-Tailed Recognition ​ 长尾问题是基于深度学习分类模型的一大难点。现有的解决方案包括损失加权，数据重采样，头部类别到尾部类别的迁移学习。大多数方案都将表示和分类器联合学习。本文将学习过程分解成表示学习和分类。系统的探索了上述方法是怎么影响这两个部分，以获得在长尾分布上更好的表示。发现两个结果： （1）在学习高质量的文本表示时，数据不均衡不是一个问题。（即使数据不均衡，也能学习到高质量的文本
长尾分布系列论文解析（一）Decoupling Representation and Classifier for Long-Tailed Recognition
罟霖同学的站点
11-21 2748
长尾分布系列论文解析：分类问题中的长尾分布。论文名:Decoupling Representation and Classifier for Long-Tailed Recognition
《Decoupling Representation and Classifier for Long-Tailed Recognition》阅读笔记
最新发布
AncilunKiang的博客
02-28 1761
视觉世界的长尾分布对基于深度学习的分类模型如何处理类不平衡问题提出了巨大的挑战。现有的解决方案通常涉及类平衡策略（class-balancing strategies）例如通过损失重加权、数据重采样，或者从头部类别到尾部类别的迁移学习，但它们大多数遵循共同学习表示和分类器的方案。在这项工作中，我们**将学习过程解耦（decouple）为表示学习和分类（representation learning and classification），并系统地探索不同的平衡策略如何影响长尾识别。
样本不平衡的数据建模——decoupling representation and classifier
fcd_abc的博客
08-22 1455
decoupling representation and classifier（解耦特征表示模块和分类模块），将原来的分类模型拆分成两部分分别进行训练。比如ResNet-50，一般有神经网络层+分类层（全连接+softmax）构成。以前的模型是对这两部分做联合估计和拟合，但是decoupling representation and classifier是将这两部分分开来估计。 来源 该方法来自于论文：DECOUPLING REPRESENTATION AND CLASSIFIER FOR LONG-TA
《Decoupling Representation and Classifier》笔记
05-13 870
Paper:《Decoupling Representation and Classifier for Long-tailed Recognition》Publishedat ICLR 2020Keywords:Long-Tailed Image Recognition. 【概览】 作者将分类网络分解为representation learning 和 classification 两部分，系统的研究了这两部分对于Long-tailed问题的影响。通过实验得到的两点发现是： 数据不均衡问题不会影响高.
【论文精读】The Devil is the Classifier: Investigating Long Tail Relation Classification with Decoupling
xiangduixuexi的博客
10-24 368
这篇文章是浙江大学2020年9月15号推到Arxiv上的。 文章的初始出发点应该是来自，关系抽取数据集由于数据存在长尾特征，因此直接从数据中学习语义，必定是不均衡的【样本多的语义容易过拟合某个类别中的头部样本，样本少的语义容易过拟合某个类别中的单个样本】。 因此采用引入外部预训练的词向量来进行语义embedding就说得通。 同时又知道，我们有三种采样的方式，来进行长尾数据集的再平衡，即将长尾数据集变成某种意义上的平衡数据集。分别是instance balance， class balance和re-wei
【CVPR 2021】基于解耦特征的目标检测知识蒸馏：Distilling Object Detectors via Decoupled Features
梁瑛平的博客
07-24 2132
【CVPR 2021】基于解耦特征的目标检测知识蒸馏：Distilling Object Detectors via Decoupled Features论文地址：主要问题：主要思路：具体实现：基本符号：Decouple Intermediate Features in Distillation：Decouple Region Proposals in Distillation：实验结果：联系作者：我的公众号： 论文地址： https://arxiv.org/abs/2103.14475 主要问题： 与图像
PyTorch实现CIFAR-10数据集电源优化与MCLR引脚设计
在本文档中，我们主要探讨了在使用PyTorch处理CIFAR-10数据集的背景下，电源引脚的相关注意事项，特别是针对微控制器芯片PIC18F66K80。这部分内容涵盖了电源管理的关键要素，旨在确保电子设备的稳定性和性能。 首先...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mingo_敏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值