#今日论文推荐# CVPR2022丨BatchFormer: 简单有效、即插即用的探索样本关系模块

#今日论文推荐# CVPR2022丨BatchFormer: 简单有效、即插即用的探索样本关系模块

目前深度神经网络已经取得了巨大成功，但仍然面临着来自于数据稀缺的各种挑战，比如数据不平衡，零样本分布，域适应等等。当前已经有各种方法通过样本之间的关系去针对这些问题。然而这些方法并没有去挖掘内在的网络结构来使网络模型建模关系。受此启发，我们提出了一个使网络能够从训练批（min-batch）中学习样本关系的简单有效并且即插即用Transformer模块，Batch TransFormer (BatchFormer)。具体地，BatchFormer 应用于每个训练批次数据的batch维度来隐式地探索样本关系。BatchFormer 使每个批量的样本间能够互相促进学习，比方说，在长尾识别中，利用频繁类别数据促进稀有类别的样本的学习。更进一步地，由于在训练的时候在 batch 维度引用了 Transformer，训练和测试的数据分布不再一致了。因此我们提出一种共享分类器的策略，来消除在训练和测试的分布偏差从而达到 Batch 不变学习，令我们在测试的时候能够移除 BatchFormer。这种共享策略使 BatchFormer 在测试时不增加任何计算负载。不需要任何额外的策略，BatchFormer 在10多个数据集上面展示了稳定的提升，包括了长尾分布，组合零样本学习，领域泛化，领域适应，对比学习。最后更重要的是，基于DETR，我们进一步将BatchFormer扩展到像素级别的任务上面，包括目标检测,全景分割，图像分类。改进版的 BatchFormer 能够即插即用于 DETR, Deformable DETR, Conditional DETR, SMCA, DeiT。

论文题目：BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning
详细解读：https://www.aminer.cn/research_report/6304d4127cb68b460f0a26a6https://www.aminer.cn/research_report/6304d4127cb68b460f0a26a6
AMiner链接：https://www.aminer.cn/?f=cs