CVPR 2021 Scaling Local Self-Attention for Parameter Effificient Visual Backbones

动机

1. 虽然自注意力是自然语言处理中的主要工作，但卷积在几乎所有的视觉模型中都是普遍存在的。卷积法体现了局部处理的原理，用来学习图像中大量存在的边缘、纹理等局部特征。另一方面，transformer展现了这种自注意力是一种有效的并计算上有效的机制，可以捕捉句子中单词之间的全局交互作用。自注意力在自然语言处理中的成功激发了对自注意力如何改善视觉的研究。
2. 自注意力有几个特性使其能很好地改进计算机视觉系统：(a)基于内容的交互，而不是与内容无关的卷积交互；(b)独立于参数的感受野大小的scaling，而不是依赖于参数的卷积的scaling；©捕捉远距离依赖以用于较大图像的经验能力；(d)灵活地处理和集成在视觉中出现多种类型的数据，例如像素、点云、序列条件信息和图。自注意力也可以被看作是一种自适应非线性，它与计算机视觉中的非线性处理技术（如双边滤波和非局部均值滤波）在历史上很长一段时间都是并驾齐驱的。
3. 最近的几篇论文代替使用常用的ResNet骨干网络，尝试使用自注意力原型来提高图像分类的精度。其中，独立自注意力模型(SASA)是一种完全自注意力模型，它用局部自注意力代替每个空间卷积，在具有较少的参数和浮点运算的同时提高了ResNet骨干网络的性能。虽然这些模型在概念上是有前途的，但在图像分类方面却落后于现有的卷积模型。现有的卷积模型使用各种scaling技术，在一系列的计算和参数范围内实现了强大的性能。与ResNet-50等基线模型相比，本文提出的自注意力模型在精确度与参数的权衡方面有了令人鼓舞的改进。它不仅可以超越规范的基线模型，甚至可以超越高效的卷积模型。

方法

简介

目标是开发和理解局部自注意力模型的scaling技术，建立一个自注意力模型，它不仅可以超越规范的基线模型，甚至可以超越高效的卷积模型。自注意力模式的scaling带来了一系列独特的挑战。例如，非常有效地将卷积映射到矩阵加速器中，如驱动最深的学习工作量的TPU和GPU，但快速实现局部2D自注意力目前还不存在。为了弥补这一差距，引入了一个非中心版本的局部注意力，它有效地映射到现有的带有haloing的硬件。虽然打破了平移同变性，但对比SASA中使用的中心局部自注意力，它提高了吞吐量和精确度。还引入了一种多尺度特征提取的strided 自注意力下采样操作。利用这些技术开发了一个新的局部自注意力模型家族HaloNet，提出了两个自注意力的扩展，结合更有效的自注意力的实施，提高了这些模型的速度、记忆使用和准确性。

虽然HaloNet模型使用自注意力而不是卷积来捕捉像素之间的空间相互作用，但它们采用了当前卷积神经网络(CNNs)的一些重要的结构特征。像CNNs一样，计算多尺度特征层次，这使得在定位和实例分割等任务中能够检测多个大小的目标。为此，基于一个strided卷积的自然延伸，开发了一个strided自注意力层。为了在全局注意力不可行的情况下处理较大分辨率下的计算开销，遵循相当普遍的局部处理原则，并使用空间限制的自注意力形式。然而，它也使用了局部的自注意力，避免强制执行平移同变性来代替更好的硬件利用率，从而提高了速度-精度权衡。还要注意的是，当使用局部注意力时，每个像素的感受野是相当大的（高达18×18)。感受野有利于更大的图像。

HaloNet局部自注意力结构：对于一个[4,4,c]的图像，块大小b=2，和halo h=1的块局部注意力的不同阶段。该图像首先被分块为不重叠的[2,2,c]图像，从这些图像中计算查询。随后是haloing步骤，然后提取每一个块周围的[4,4,c]内存，该内存线性地转换为键和值。关注后的空间维度与查询相同。

自注意力可以产生空间变化的卷积滤波器

具有适当个数和正确几何偏差的自注意力可以模拟卷积，这表明自注意力与卷积之间存在更深层次的关系。将自注意力视为生成空间变化的过滤器&#