【NeurIPS2024】注意力迁移对视觉Transformer的惊人有效性研究

最新推荐文章于 2025-04-27 13:52:04 发布

数据派THU

最新推荐文章于 2025-04-27 13:52:04 发布

阅读量84

点赞数

文章标签： transformer 深度学习人工智能

原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247648892&idx=3&sn=505c85232e66b0b59711412c66624f63&chksm=e843814cecbb8a8048977dcc2e57f0c74b3278de1b0836a8ffc68dc2517749bcc94679aef2f2&scene=126&sessionid=0

版权

来源：专知
本文约1000字，建议阅读5分钟
我们通过提出一种简单的方法——注意力迁移（attention transfer）。

传统观点认为，通过预训练视觉Transformer（ViT）可以学习有用的表示，从而提升下游任务的性能。但这是真的吗？我们对这一问题进行了研究，发现预训练过程中学到的特征和表示并不是必不可少的。令人惊讶的是，仅利用预训练中的注意力模式（即指导信息在不同token之间的流动方式），就足以让模型从零开始学习高质量特征，并在下游任务中取得可比的性能。

我们通过提出一种简单的方法——注意力迁移（attention transfer），验证了这一点。在这种方法中，仅从预训练的教师ViT中将注意力模式迁移到学生模型，迁移方式可以是直接复制或蒸馏注意力图。由于注意力迁移允许学生模型自行学习特征，将其与经过微调的教师模型进行集成还能进一步提高ImageNet上的准确率。

我们系统性地研究了注意力图充分性的各种方面，包括在分布转移（distribution shift）环境下的表现，在这些环境中，注意力迁移性能不如微调。我们希望这一探索能为预训练的作用提供更深入的理解，同时为微调的标准实践提供一个有用的替代方案。复现我们结果的代码可在https://github.com/alexlioralexli/attention-transfer获得。