注意力机制：PADRe: A Unifying Polynomial Attention Drop-in Replacement for Efficient Vision Transformer

中文名称：PADRe：一种高效视觉Transformer的统一多项式注意力替代算法

摘要：

我们提出了多项式注意力替代方案（PADRe），这是一个用于替代Transformer模型中传统自注意力机制的新型统一框架。值得注意的是，最近几种替代注意力机制，包括Hyena、Mamba、SimA、Conv2Former和Castling-ViT，都可以被视为我们PADRe框架的特定实例。PADRe利用多项式函数，并借鉴了近似理论中的已知结果，在不牺牲准确性的前提下提高了计算效率。PADRe的关键组件包括乘法非线性，我们通过简单、硬件友好的操作如Hadamard乘积实现这些非线性，仅需线性的计算和内存成本。PADRe进一步避免了使用复杂的函数如Softmax，但仍保持了与传统自注意力相当或更高的准确性。我们评估了PADRe在多种计算机视觉任务中作为自注意力替代方案的有效性。这些任务包括图像分类、基于图像的2D目标检测和3D点云目标检测。实验证据表明，在用PADRe替代Transformer模型中的自注意力时，PADRe比传统自注意力快显著（在服务器GPU和移动NPU上快11到43倍），同时保持了类似的准确性。

1.引言

Transformer在自然语言处理、计算机视觉和语音处理方面的最新进展中起到了关键作用。在计算机视觉中，视觉Tran