ICLR 2024 | Meta AI提出ViT寄存器结构，巧妙消除大型ViT中的伪影以提高性能

论文题目：Vision Transformers Need Registers
论文链接：https://arxiv.org/abs/2309.16588

视觉Transformer（ViT）目前已替代CNN成为研究者们首选的视觉表示backbone，尤其是一些基于监督学习或自监督学习预训练的ViT，可以在诸多下游视觉任务上表现出卓越的性能。但目前针对ViT中间特征图的可解释研究相对较少，本文介绍一篇Meta与INRIA（法国国家信息与自动化研究院）合作完成的论文，目前该文已被国际表征学习顶级会议ICLR 2024录用。本文的研究人员们对ViT网络特征图中出现的伪影进行了研究，并且认为这些伪影对应于模型表征图像背景区域中的高范数token，模型在推理阶段时丢弃了这些token中包含的局部信息。为此，本文提出了一个简单有效的寄存器方法（Registers）来将这些伪影token进一步送入到模型中进行内部运算以提高性能。作者通过一系列实验证明，Registers可以解决监督或自监督ViT丢失局部信息的问题，提高其在密集型下游视觉任务上的综合性能，同时产生更加平滑的特征图和注意力图。

01. 引言

本文的动机从目前流行的DINO[1]，DINOv2[2]等ViT模型的内部表征出发。DINO算法目前已被证明可以生成包含图像语义布局的特征图，尤其是其最后一个注意力层可以生成可解释的注意力图。基于这些特性，目前已有研究通过收集注意力图中的语义信息在缺少明确监督的情况下检测目标。DINOv2是DINO的后续升级版本，提供了处理密集型预测任务的能力，但DINOv2在生成注意力方面的效果却不尽如人意。下图左侧第三列展示了DINOv2模型生成的注意力图，可以看到，其中出现了大量的噪声伪影。

此外，作者也在其他监督学习训练的ViT中发现了类似的伪影现象，如下图中的DeiT、CLIP等，本文对这些伪影的出现原因和固有性质进行了研究，通过测量发现，这些伪影相比其他token的范数大约高10倍，并且其数量仅占