ICCV2021 MIT-IBM沃森开源CrossViT：Transformer走向多分支、多尺度

关注公众号，发现CV技术之美

今日分享 ICCV 2021 论文『CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification』， MIT-IBM 沃森人工智能实验室开源《CrossViT》，Transformer 开始走向多分支、多尺度（附目前多尺度ViT异同点对比）。

详细信息如下：

• 论文链接：https://arxiv.org/abs/2103.14899

• 项目链接：https://github.com/IBM/CrossViT

导言：

       与卷积神经网络相比，最近出现的视觉Transformer(ViT)在图像分类方面取得了很好的结果。受此启发，在本文中，作者研究了如何学习Transformer模型中的多尺度特征表示来进行图像分类 。为此，作者提出了一种双分支Transformer来组合不同大小的图像patch，以产生更强的图像特征。本文的方法用两个不同计算复杂度的独立分支来处理小patch的token和大patch的token，然后这些token通过attention机制进行多次的交互以更好的融合信息。

       此外，为了减少计算量，作者开发了一个简单而有效的基于cross-attention的token融合模块。在每一个分支中，它使用单个token（即 [CLS] token）作为query，与其他分支交换信息。本文提出cross-attention的计算复杂度和显存消耗与输入特征大小呈线性关系 。实验结果表明，本文提出的CrossViT的性能优于其他基于Transformer和CNN的模型。例如，在ImageNet-1K数据集上，CrossViT比DeiT的准确率高了2%，但是FLOPs和模型参数增加的非常有限。

      01      

Motivation

Transformer使NLP任务中序列到序列建模的能力取得了很大的飞跃。Transformer在NLP中的巨大成功激发了其在计算机视觉领域的应用。在ViT之前的一些工作主要将Transformer中的Self-Attention和CNN进行结合。虽然这些结合CNN和Self-Attention方法达到了比较不错的性能，但与纯粹的基于Self-Attention的Transformer相比，它们在计算方面的可拓展性非常有限。

ViT使用一系列embedding式的图像patch作为标准Transformer的输入，这是第一个与CNN模型性能相当的无卷积Transformer网络。然而，ViT需要非常大数据集，如ImageNet21K和JFT300M来进行预训练。之后的DeiT表明，数据增强和模型正则化可以在较少的数据下训练高性能的ViT模型。在此之后，ViT就逐渐成为了CV任务中的主流模型之一。

在这项工作中，作者研究了如何学习Transformer模型中的多尺度特征表示来进行图像识别 。多尺度的特征已经在很多工作中证明了对于CV任务是有效的，但多尺度特征对视觉Transformer的潜在好处仍有待验证。受到多分支CNN架构的启发，作者提出了一个双分支Transformer来组合不同大小的图像patch，以产生更强的视觉特征用于图像分类 。

本文的方法用两个具有不同计算复杂度的独立分支来分别处理大patch的token和小patch的token，这些token多次融合以相互补充信息。本文的重点是研究并设计适合视觉Transformer的多尺度特征融合方法 。在本文中，作者通过一个有效的交叉注意模块来实现这一点，其中每个Transformer分支创建一个non-patch token（即 [CLS] token）作为代理，并通过attention机制与另一个分支交换信息。（由于这里只使用[CLS] token进行信息交互，所以这一步attention的计算复杂度是线性的，而非二次的。）

在ImageNet-1K数据集上，CrossViT比DeiT的准确率高了2%，但是FLOPs和模型参数增加的非常有限（如上图所示）。

      02