CVPR 2022 | ELP：简单间断线性探针即可提升各种分类性能

©PaperWeekly 原创 · 作者 | 梁远智

单位 | 悉尼科技大学博士生

研究方向 | 多模态与表示学习

自序

分类是 CV 经典任务。在之前的工作中（MHEM TNNLS2022），针对 FGVC，我们曾经尝试跳出修改结构（FGVC 中主要是各种 part based model）和引入数据等固有思路，尝试通过更加更加简单有效的方式提升性能。我们惊讶地发现，简单的适当的困难样本挖掘足以明显的提升性能，只用简单的 backbone 和适当的困难样本挖掘，这样一个简单的 pipeline 却能击败许多复杂的方法。 

然而，在进一步的改进过程中，我们开始质疑样本选择的标准和方式。究竟什么样的样本是困难样本？什么样的样本是学的不好的样本？confidence 偏低的吗？那多少算偏低？典型的 FGVC 数据集中，很多样本真人看起来都困难但网络的 confidence 依旧很高，我们应该如何让网络进一步泛化各样的样本？在 overfit train set 的前提下，如何找到那些网络记住了但没学明白的内容？如何拨开 overfit 的迷雾，去找到隐藏在 high confidence 之下，特征表示的并不好的样本？

由此，我们开启了在 CVPR 2022 的工作 ELP 的探索。

论文标题：

A Simple Episodic Linear Probe Improves Visual Recognition in the Wild

论文链接：

https://openaccess.thecvf.com/content/CVPR2022/html/Liang_A_Simple_Episodic_Linear_Probe_Improves_Visual_Recognition_in_the_CVPR_2022_paper.html

代码链接：

https://github.com/akira-l/ELP