#今日论文推荐#TPAMI2022 | Dual ViT，京东（梅涛团队）提出双路径ViT结构，大大降低计算开销

#今日论文推荐#TPAMI2022 | Dual ViT，京东（梅涛团队）提出双路径ViT结构，大大降低计算开销

以前的工作已经提出了几种降低自注意力机制计算成本的策略。其中许多工作考虑将自注意力过程分解为区域和局部特征提取过程，每个过程产生的计算复杂度要小得多。然而，区域信息通常仅以由于下采样而丢失的不希望的信息为代价。在本文中，作者提出了一种旨在缓解成本问题的新型Transformer架构，称为双视觉Transformer（Dual ViT）。新架构结合了一个关键的语义路径，可以更有效地将token向量压缩为全局语义，并降低复杂性。这种压缩的全局语义通过另一个构建的像素路径，作为学习内部像素级细节的有用先验信息。然后将语义路径和像素路径整合在一起，并进行联合训练，通过这两条路径并行传播增强的自注意力信息。因此，双ViT能够在不影响精度的情况下降低计算复杂度。实证证明，双ViT比SOTA Transformer架构提供了更高的精度，同时降低了训练复杂度。

Transformer结构在革新深度学习应用方面取得了巨大成功，包括自然语言处理和计算机视觉任务。不幸的是，由于Transformer通常依赖密集的自注意力计算，因此对于高分辨率输入，此类架构的训练通常很慢。由于transformer技术通常可以提供比同类技术更高的性能，因此这种复杂性问题逐渐成为制约这种强大体系结构发展的瓶颈。

论文题目：Dual Vision Transformer
详细解读：https://www.aminer.cn/research_report/630e09957cb68b460f0fa7e6https://www.aminer.cn/research_report/630e09957cb68b460f0fa7e6
AMiner链接：https://www.aminer.cn/?f=cs