本文介绍了AAAI2022论文ShiftVIT，该研究提出通过移位操作替代Transformer中的注意力机制，实现简单且有效的全局建模。Shift Block将特征沿通道方向移位，以此实现类似注意力的效果。实验证明，ShiftVIT在小模型上可超越Swin Transformer，并揭示了训练策略（如Adam、GELU、LN）对Transformer性能的重要性。
论文：【AAAI2022】When Shift Operation Meets Vision Transformer: An Extremely Simple Alternative to Attention Mechanism
代码：https://link.zhihu.com/?target=https%3A//github.com/microsoft/SPACH
B站作者讲解视频：https://www.bilibili.com/video/BV1a3411h7su
研究动机
这个工作是使用一个非常简单的操作取代 attention，取得了非常好的效果。首先介绍一下论文的motivation。作者认为 Tranformer 取得成功的关键在于两个特性：
-
Global：快速的全局建模能力，每个 token都能和其它的 token 发生关联
-
Dynamic：为每个样本动态的学习一组权重
作者的 motivation 就是：能不能用更简单的方式来取代 attention ，更极端的就是 NO global, NO dynamics, and even NO parameter and NO arithmetic calculation 。
为此，作者提出了 shift block，非常简单，本质就是对部分特征进行简单的移位操作来代替 se
最低0.47元/天 解锁文章
68
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
