Decouping representation and classifier for long-tailed recognition

论文地址：https://arxiv.org/abs/1910.09217
代码：https://github.com/facebookresearch/classifier-balancing
发表在ICLR2020

前言

生活中几乎所有能收集到的数据大多都符合长尾分布，虽然视觉在标准数据集上取得了不错的效果，但是在不均衡的长尾分布数据集上还需要进一步的研究。

本文贡献

• 数据不均衡并不影响数据高质量的表示，通过简单的随机采样就能得到高质量的representation。
• 在得到优质的representation后，通过类别均衡采样仅调整分类器权值就能得到solid的分类结果，此外，对分类器权值的正则化也能提高性能。
• 我们将数据表示和分类器分别训练称之为解耦。

方法

数据表示（representation）

在ImageNet-LT数据集上使用ResNeXt-50作为backbone测试不同采样方法和分类算法的性能。

联合训练（Joint）时采样策略matters

下图为联合训练时不同采样测录的具体精度表

• 可见，随着采样策略的改进，Medium 和 Few 类别的精度都有所提升，整体也随之提升，证明了采样策略的有效性。

• 其中Many类别在随机采样时的精度是最高的，作者认为是由于类别整体数量多，采样的个体就多，所以模型更倾向于识别Many类。除了Many类，通过随机采样，解耦的方法都得到了最好的效果，所以作者得出结论——数据不均衡不会导致学习不到好的representation

• 使用随机采样在cRT方法中，Many类并没有得到最好的精度，所以随机采样是否得到了最优的representation犹未可知？可能只是对于其他类来说是更好的表达，是因为其他类别数量少好训练？

• 图1中Many类与其他两类的趋势也不同，所以之间差异的根本是什么导致的?

联合训练还是解耦？

通过冻结模型的不同层，最终证明，只重新训练分类器会得到最好的效果，所以解耦还是有必要的。

平衡分类器

图1中无参数的NCM方法也得到了较好的结果，作者认为，其优异的表现源于该算法可以根据类别数自适应地调整决策边界的能力。带有余弦决策边界的NCM与分类器的权重无关。

图2左

• 根据蓝线我们可以观察到权值范数与样本数正相关。这会导致更宽的决策边界，模型更倾向于样本数多的类别。
• 绿线代表的是重训练方法，只有少数Few类别权值范数较大。
• 归一化和LWS在一定程度上平衡了所有类别的范数。

图2右

• 可见随着归一化参数τ的增长，Mang类显著下降，Few类显著增长，而Medium类先增后降。
• 没有很好解释为什么？可能τ值越大，对权值范数越大的类影响越大。

实验

作者在ImageNet-LT、iNaturalist、Places-LT三个标准的长尾分布数据集上都取得了sota效果。

总结

解耦的实验还是有待深入探讨的，原理部分还有很长的路。