CVPR2021 | 华为诺亚实验室提出Transformer in Transformer

前言：

transformer用于图像方面的应用逐渐多了起来，其主要做法是将图像进行分块，形成块序列，简单地将块直接丢进transformer中。然而这样的做法忽略了块之间的内在结构信息，为此，这篇论文提出了一种同时利用了块内部序列和块之间序列信息的transformer模型，称之为Transformer-iN-Transformer，简称TNT。

 

主要思想

 

TNT模型把一张图像分为块序列，每个块reshape为像素序列。经过线性变换可从块和像素中获得patch embedding和pixel embedding。将这两者放进堆叠的TNT block中学习。

在TNT block中由outer transformer block和inner transformer block组成。

outer transformer block负责建模patch embedding上的全局相关性，inner block负责建模pixel embedding之间的局部结构信息。通过把pixel embedding线性映射到patch embedding空间的方式来使patch embedding融合局部信息。为了保持空间信息，引入了位置编码。最后class token通过一个MLP用于分类。

通过提出的TNT模型，可以把全局和局部的结构信息建模，并提高特征表示能力。在精度和计算量方面，TNT在ImageNet和downstream 任务上有非常优异的表现。例如，TNT-S所在ImageNet top-1上在只有5.2B FLOPs的前提下实现