解耦表征与分类器：DECOUPLING REPRESENTATION AND CLASSIFIER FOR LONG-TAILED RECOGNITION（ICLR2020）

简介

        论文出自ICLR2020，新加坡国立大学和 Facebook AI联合著作。

代码：https://github.com/facebookresearch/classifier-balancing.

 

摘要

        视觉世界的长尾分布对于基于深度学习的分类模型如何处理类不平衡问题提出了巨大的挑战。现有的解决方案通常涉及类平衡策略，例如通过损失加权，数据重新采样或将学习从头到尾的类迁移到其他类别，但其中大多数坚持联合学习表示和分类的方案。在这项工作中，我们将学习过程分解为表征学习和分类，并系统地探索不同的平衡策略如何影响它们以进行长尾识别。研究结果令人惊讶：（1）数据不平衡可能不是学习高质量表示的问题； （2）利用通过最简单的实例平衡（自然）采样学习的表示，仅调整分类器也可以实现强大的长尾识别能力。我们进行了广泛的实验，并在常见的长尾基准（例如ImageNet-LT，Places-LT和iNaturalist）上设定了最新的性能，表明有可能胜过精心设计的损失、采样策略、甚至是具有内存的复杂模块，这种模块使用分离表示和分类的简单方法。

 

论文目标

在过去的几年中，视觉识别研究取得了长足的进步，这主要是由于使用了深度卷积神经网络（CNN）和大型图像数据集，最重要的是ImageNet Challenge（Russakovsky et al。，2015）。对于训练集中每个对象/类的实例数，此类数据集通常是人为平衡的。但是，视觉现象遵循长尾分布，许多标准方法无法正确建模，从而导致准确性显着下降。因此，最近出现了许多尝试研究长尾识别的作品，即在每个类中实例数量变化很大并遵循长尾分布的环境中进行识别。

在使用长尾数据进行学习时，一个共同的挑战是，实例丰富（或头部）的类在训练过程中占主导地位。习得的分类模型往往在这些类上表现更好，而对于实例稀少（或尾部）的类，其性能则明显较差。为了解决这个问题并提高所有类别的性能，可以重新采样数据或设计特定的损失函数，以更好地促进不平衡数据的学习（Chawla等，2002; Cui等，2019; Cao等。 ，2019）。另一个方向是通过转移来自头类的知识来增强尾类的识别性能（Wang等人，2017; 2018; Zhong等人，2019; Liu等人，2019）。然而，现有方法背后的普遍信念是，设计适当的采样策略，损失甚至更复杂的模型，对于学习高质量表示以进行长尾识别是有用的。

因此，最前面提到的方法与数据表示一起学习用于识别的分类器。但是，这种联合学习方案使人们不清楚如何实现长尾识别能力-是通过学习更好的表示还是通过改变分类器决策边界来更好地处理数据不平衡？为了回答这个问题，我们退后一步，将长尾识别分离为表示学习和分类。对于表征学习，模型暴露于训练实例，并通过不同的采样策略或损失进行训练。对于分类，基于学习的表示，模型通过各种分类器识别长尾类。我们评估联合和解耦学习方案下长尾识别的各种采样和分类器训练策略的性能。

具体来说，我们首先训练模型以学习具有不同采样策略的表示，包括基于实例的标准采样，类平衡采样以及它们的混合。接下来，我们将在学习到的表示之上，研究三种不同的基本方法来获得具有均衡决策边界的分类器。它们是1）以类平衡的方式重新训练参数线性分类器（即重新采样）; 2）非参数最近分类均值分类器，该分类器根据训练集中基于特定分类的均值表示对数据进行分类； 3）对分类器权重进行归一化，直接将权重的大小调整为更加平衡，并增加一个温度（temperature）来调整归一化过程。

我们进行了广泛的实验，以比较上述解耦学习方案的实例与常规方案，后者共同训练了分类器和表示。我们还将比较最近的，经过精心设计和更复杂的模型，包括使用内存的方法（例如OLTR（Liu等人，2019））以及更复杂的损失（Cui等人，Class-balanced loss ，2019）。通过对三个长尾数据集ImageNet-LT，Places-LT和iNaturalist的广泛研究，我们得出以下有趣的观察结果：

 

相关工作

由于在实际应用中数据不平衡的普遍存在，长尾识别引起了越来越多的关注（Wang等人，2017; Zhou等人，2017; Mahajan等人，2018; Zhong等人，2019; Gupta等，2019）。最近的研究主要追求以下三个方向：

数据分布重新平衡：沿着这个方向，研究人员建议对数据集进行重新采样，以实现更均衡的数据分布。这些方法包括对少数类别（通过添加数据副本）进行过采样（Chawla等，2002； Han等，2005），对多数类别进行过采样（Drummond等，2003）。删除数据），并根据每个类别的样本数量对类别进行均衡采样（Shen等人，2016; Mahajan等人，2018）。

类平衡损失：对于每种类别，建议使用各种方法分配不同的损失，不同的训练样本。为了匹配给定的数据分布并改善尾部类别的通用性，损失可能会在类别级别有所不同（Cui等人，2019; Khan等人，2017; Cao等人，2019; Khan等人，2019; Huang等人，2019）。也可以在样品水平上实现更细粒度的损失控制，例如Focal Loss（Lin等人，2017），Meta-Weight-Net（Shu等人，2019），重新加权训练（Ren