TPAMI 2024 | Transformer中的动态一元卷积

题目：Dynamic Unary Convolution in Transformers

Transformer中的动态一元卷积

作者：Haoran Duan; Yang Long; Shidong Wang; Haofeng Zhang; Chris G. Willcocks; Ling Shao

---

摘要

目前尚不确定变换器架构的优势是否能补充现有的卷积神经网络。最近的一些尝试通过一系列结构串联将卷积与变换器设计相结合，本文的主要贡献是探索了一种并行设计方法。与之前的基于变换的方法需要将图像分割成块状标记不同，我们观察到在卷积特征上进行的多头自注意力主要对全局相关性敏感，当这些相关性没有表现出来时性能会下降。我们提出了两个并行模块和多头自注意力来增强变换器。对于局部信息，动态局部增强模块利用卷积动态显式地增强积极的局部块并抑制对信息较少的块的响应。对于中间结构，一个新的一元共生激励模块利用卷积主动搜索块之间的局部共生。设计了并行的动态一元卷积在变换器（DUCT）块，并将它们聚合成深层架构，该架构在基于图像的分类、分割、检索和密度估计等关键计算机视觉任务上进行了全面的评估。定性和定量结果表明，我们提出的并行卷积-变换器方法，具有动态和一元卷积，优于现有的串联设计结构。

关键词

• 注意力（Attention）
• 计算机视觉（computer vision）
• 卷积（convolution）
• 动态（dynamic）
• 变