H2T-FAST: Head-to-Tail Feature Augmentation by Style Transfer for Long-Tailed Recognition(ECAI2023)

code

Motivation

深度学习模型在长尾数据上表现并不出色，尤其是尾部类上的分类性能很差。作者认为这是由于尾部数据不充足导致模型不能很好的表达（under-representation）。特征增强的方法是很容易想到增加数据量的方法，但是由于简单的复制尾部样本并不能提高尾部类的泛化能力，因此，要求增强的方法能够生成与尾部样本差异较大的样本，恢复尾部类特征分布，所以提出了一种通过风格迁移的特征增强算法（H2T-FAST）。

可视化对比

图中通过T-SNE可视化CIFAR10每个类别的特征空间，使用H2T-FAST方法后的尾部特征空间明显增大。

Method

Hypothesis

• 头部数据的信息可以用来帮助提升尾部的性能，这点也在很多论文中提到了。

H2T

首先在一个Mini-batch中，如果是头部数据输入到模型中，那么直接计算损失。如果是尾部数据，则从头部数据中随机选取一个样本，提取头部样本的风格信息并替换尾部数据的风格，这样新生成的尾部数据就带有了头部数据的风格信息。

FAST

具体来说，需要计算选中的头部和尾部图片在某一网络层的一阶矩和二阶矩（风格信息），使用不同算法交换其风格信息。因为引入了额外信息，模型的标签也需要做一个平滑处理（其实并不需要）。

实验

作者在CIFAR10/100和CINIC数据集不同的不平衡系数上都取得了很好的效果。尤其是在不平衡系数更大的数据上效果更好。

消融实验

实验证明了在网络的第0层（浅层）交换网络的风格信息并且不需要标签平滑能得到最好的效果，这是因为尾部数据的本质不变，无论改变何种风格都不能改变尾部样本的类别。就像某一事物，改变其颜色纹理等，我们还是可以分辨出它是什么东西。

在不同的baseline上，H2T-FAST方法都能很好的提升性能。

总结

• 使用了风格迁移的方法在特征空间中增强了尾部数据，是一个即插即用的方法并且只增加少量的计算量。
• 很全面的消融实验，包含头尾如何划分、使用H2T策略的概率、不同风格迁移方法等等。