全新混合架构iFormer！将卷积和最大池化灵活移植到Transformer

©PaperWeekly 原创 · 作者 | Jason

研究方向 | 计算机视觉

摘要

最近的研究表明，Transformer 具有很强的构建远程相关性的能力，但在捕获传递局部信息的高频信息方面表现较差。为了解决这个问题，作者提出了一种新型的通用 Inception Transformer，简称 iFormer，它可以有效地学习视觉数据中的高频和低频信息的综合特征。

具体而言，作者设计了一个 Inception mixer，以移植卷积和最大池化的优点，将高频信息捕获到 Transformer。与最近的混合框架不同，Inception mixer 通过通道分裂机制带来了更高的效率，采用并行卷积/最大池化路径和自注意路径作为高频和低频混频器，同时能够灵活地建模分散在较宽频率范围内的鉴别信息。

考虑到底层在捕捉高频细节方面的作用更大，而顶层在建模低频全局信息方面的作用更大，作者进一步引入了一种频率渐变结构，即逐渐减小馈送到高频混频器的尺寸，增加馈送到低频混频器的尺寸，它可以有效地在不同层之间权衡高频和低频分量。

作者在一系列视觉任务中对 iFormer 进行了基准测试，并展示了它在图像分类、COCO 检测和 ADE20K 分割方面取得的惊人的性能。例如，iFormer-S 在 ImageNet-1K 上达到了83.4% 的 Top-1 精度，比 DeiT-S 高出了 3.6%，甚至比更大的 Swin-B（83.3%）略好，只有 1/4 的参数和 1/3 的 FLOPs。

论文和代码地址

论文标题：

Inception Transformer

论文地址：

https://arxiv.org/abs/2205.12956

代码地址：

https://github.com/sail-sg/iFormer

Motivation

Transformer 在自然语言处理（NLP）领域掀起了高潮，在许多 NLP 任务中取得了不错的高性能，例如机器翻译和问答。这在很大程度上归功于它具有强大的能力，能够利用自注意机制对数据中的长期依赖关系进行建模。它的成功使研究人员研究了它对计算机视觉领域的适应性，视觉 Transformer（ViT）是一个先驱工作，该结构直接继承自 NLP，但应用于以原始图像块作为输入的图像分类。后来，开发了许多 ViT 变体，以提高性能或扩展到更广泛的视觉任务，例如，目标检测和分割。

ViT 及其变体能够捕获视觉数据中的低频率信息，主要包括场景或对象的全局形状和结构，但对于学习高频率（主要包括局部边缘和纹理）的能力不是很强。这可以直观地解释：ViTs 中用于在非重叠 patch token 之间交换信息的主要操作 self-attention 是一种全局操作，比起局部信息（低频），它更适合捕获全局信息（高频）。