CVPR 2021 OmniNet: Omnidirectional Representations from Transformers

动机

1. 提出了从transformer中学习全方位表示的方法。

   transformer以堆叠的自注意力模块和前馈transformer为特征，已经成为现代深度学习、自然语言处理甚至计算机视觉的主流方法。一个自注意力机制中的一个关键特征是全局感受野，其中每个token都可被序列中的其他token访问，促进全局上下文表征的学习。

2. 将全方位的注意力实现为一种元学习器的形式。

   学习全方位感受野是非常重要的，原因有两个。首先，给定点积注意力的二次复杂度，设计这样的感受野的复杂度从N²L增加到(NL)²，其中L是网络深度，N是序列长度。这是一个大的挑战，在过去禁止探索这种类型的体系结构。其次，简单地从一开始就实现全方位的关注，很容易导致transformer退化为扁平网络，从而丧失其通过在网络层上依次细化其表示而实现的大部分表示能力。

方法

简介

提出了从transformer中学习全方位表示(OMNINT)的方法。关键思想是超越水平全局感受野，探索全方位感受野的可能性。简而言之，允许每个token不仅处理同一层中的所有其他token，而且处理网络所有层中的所有token，而不是严格维持一个水平