long-tail learning
文章平均质量分 97
123
我什么都不懂zvz
这个作者很懒,什么都没留下…
展开
-
【论文学习5】GML:Long-Tailed Recognition by Mutual Information Maximization
对比学习尽管在很多representation learning tasks上有普遍不错的表现,但是在长尾数据集上就不咋滴。许多研究人员尝试将对比学习和logic adjustment技术结合来解决此问题,但这种组合是临时的(ad-hoc)且没有理论解释。发现了对比学习在长尾任务上表现不好的普遍原因:他们都尝试最大化潜在特征和输入数据之前的互信息(mutual information)。而GT是没有参与到这个最大化过程的,所以没有办法解决类别不平衡问题。原创 2023-12-20 18:10:11 · 1028 阅读 · 0 评论 -
【论文学习4】CBLoss:Class-Balanced Loss Based on Effective Number of Samples
在本工作中,发现随着样本数量增多,新增数据附带的benefit可能会有所减少(因为新增数据的features可能与原有数据的features存在重叠关系,加了也白给)提出了一种新的理论框架来衡量数据重叠:将每个样本与小邻域关联而不是与单个样本关联;这里的关键不是去理解什么是小邻域,而是去理解它是如何衡量数据重叠。定义了En1−βn1−βEn1−βn1−β,其中β∈01β∈01是个超参数。使用样本有效个数去re-balance 损失函数。原创 2023-12-18 16:19:01 · 1402 阅读 · 1 评论 -
【论文学习3】LDAM:Learning Imbalanced Datasets with Label-Distribution-Aware Margin Loss
训练数据集出现严重的类不平衡问题会导致在实际应用中缺乏泛化性。该文设置了两种解决的算法:1)基于标签分布的边界损失(Label-distribution-aware margin, LDAM);2) 延迟重新加权(Defers re-weighting, DRW),既让模型学习初始特征表示,再进行re-weighting或re-sampling。原创 2023-12-17 17:33:50 · 1852 阅读 · 2 评论 -
【论文学习2】Focal Loss: Focal Loss for Dense Object Detection
日期:2023/12/16论文:Focal loss for dense object detection会议:ICCV2017参考:因为近期做长尾分类,所以不看目标检测部分,大部分也是参考内容中知乎里的part。原创 2023-12-17 00:50:09 · 1003 阅读 · 1 评论 -
【论文学习1】Deep Long-Tailed Learning: A Survey
训练数据通常存在长尾类别分布问题,既小部分类中拥有大量的样本点,大部分类中拥有少量的样本点。这样会限制深度学习模型的实用性,由这样数据集训练出来的模型往往不会在现实实际应用表现得很好,因为它们会更倾向于主导类,并在尾部类表现得很差。如下图所示,大量数据在少数类里;总的来说,有两大挑战:1)不平衡导致模型偏向于头类;2)缺乏尾类使得训练模型进行尾类分类更具挑战;不平衡比的定义:n1nkn_1/n_kn1nk其中nin_ini表示第iii个类的数据个数;原创 2023-12-16 16:35:21 · 1018 阅读 · 1 评论