Focal Self-attention for Local-Global Interactions inVision Transformers

1. 背景介绍：Transformer 的成功和特点。

最近，Vision Transformer 及其变体在各种计算机视觉任务中显示出了巨大的前景。通过自注意力捕捉短距离和长距离视觉依赖的能力是成功的关键。

2. 研究动机：Transformer 在 CV 中的问题，现有方法怎么解决的，但这些方法又存在什么问题。

但它由于二次方计算复杂度，特别是对高分辨率视觉任务 (例如，目标检测) 提出了巨大挑战。最近的许多工作都试图通过应用粗粒度的全局注意力或细粒度的局部注意力来降低计算和内存成本并提高性能。然而，这两种方法都削弱了多层变压器原始自注意机制的建模能力，从而导致次优解决方案。

3. 研究方法：核心思想，具体方法，应用范畴。

本文提出了 focal self-attention，这是一种结合了细粒度局部交互和粗粒度全局交互的新机制。

在这个新的机制中，每个 token 以细粒度关注其最近的周围 token，以粗粒度关注其远的周围 token，从而可以有效地捕获短期和长期的可视依赖关系。

基于焦点自注意，提出了 focal Transformer，在一系列公共图像分类和目标检测基准上实现了优于先进的 (SoTA) ViT 的性能。

4. 实验结果：在图像分类，目标识别，语义分割对结果。

图像分类方面，Focal Transformer 模型的中等尺寸为 51.1M，较大尺寸为 89.8M，在 224 × 224 的 ImageNet 分类精度上分别达到 83.5% 和 83.8% 的 Top-1 精度。

目标检测方面，当 Focal Transformer 被用作 backbone 时，在 6 种不同的目标检测方法上，Focal Transformer 比当前的 SoTA Swin Transformer [44]实现了一致和实质性的改进。

语义分割方面，最大的 Focal Transformer 在  COCO mini-val/test-dev上产生58.7/58.9 box mAPs 和 50.9/51.3 mask mAPs，在 ADE20K上产生 55.4 mIoU，在三个最具挑战性的计算机视觉任务上创建新的SoTA。

ViT 大趋势：

目前，Transformer 已成为自然语言处理