ECCV 2024 | 基于部分注意力的高效视觉Transformer

最新推荐文章于 2025-01-18 01:00:00 发布

Python编程杰哥

最新推荐文章于 2025-01-18 01:00:00 发布

阅读量1.1k

点赞数 19

文章标签： transformer 深度学习人工智能 chatgpt 知识图谱 ocr llama

本文链接：https://blog.csdn.net/xx_nm98/article/details/144041593

版权

论文信息

题目：Efficient Vision Transformers with Partial Attention

基于部分注意力的高效视觉Transformer

论文链接：https://eccv.ecva.net/virtual/2024/poster/1877

论文创新点

新颖的部分注意力机制：作者提出了一种名为部分注意力的新机制，该机制通过减少注意力图中的冗余信息，使得模型能够更高效地学习空间交互。与传统的自注意力不同，部分注意力允许每个查询只与一小部分相关令牌进行交互，从而降低了计算复杂度。
高效的视觉Transformer模型PartialFormer：基于部分注意力，作者提出了一个高效且通用的视觉Transformer模型PartialFormer。该模型在保持准确性的同时，显著降低了计算成本，实现了准确性和计算成本之间的良好权衡。
混合多头自注意力（MMSA）与单查询注意力（SQA）：为了进一步提升效率，作者设计了**混合多头自注意力（MMSA）来处理前景令牌，以及单查询注意力（SQA）**来处理背景令牌。
高效的信息交换机制：作者引入了一种高效的信息交换机制，通过在前景和背景集之间添加一个可学习的抽象令牌作为查询，实现了两组之间的信息交换。

摘要

作为视觉Transformer（ViT）的核心，自注意力因其能够建模长距离空间交互而具有很高的灵活性，因为每个查询都会关注所有空间位置。尽管ViT在视觉任务中取得了有希望的性能，但自注意力的复杂度与令牌长度成二次方关系。这导致了在将ViT模型适应到需要高输入分辨率的下游任务时面临挑战。先前的工作通过引入稀疏注意力，如空间缩减注意力和窗口注意力来解决这个问题。这些方法的一个共同点是，在计算注意力权重时，所有图像/窗口令牌都会参与进来。在本文中，作者发现注意力权重之间存在高度相似性，导致计算冗余。为了解决这个问题，本文引入了一种新颖的注意力，称为部分注意力，通过减少注意力图中的冗余信息，更高效地学习空间交互。在我们的注意力中，每个查询只与一小部分相关令牌进行交互。基于部分注意力，我们提出了一个高效且通用的视觉Transformer，名为PartialFormer，它在视觉任务中实现了准确性和计算成本之间的良好权衡。例如，在ImageNet-1K上，PartialFormer-B3超过了Swin-T 1.7%的Top-1准确率，同时节省了25%的GFLOPs，超过了Focal-T 0.8%，同时节省了30%的GFLOPs。

3 部分视觉Transformer

3.1 部分Transformer

部分注意力通过关注特征图中的前景区域并挤压大多数背景令牌的信息，更高效地学习空间交互。部分注意力的设计如图4所示。

在这里插入图片描述

令牌分离

给定图像令牌，作者将分为两组：前景集和背景集。为了实现这一目标，作者对输入令牌进行上下文评分评估。这是通过沿通道维度使用Mean()操作创建空间向量来确定的。然后，作者按降序对上下文向量的值进行排序，并将排序后的索引存储在向量中。直观地，令牌和分别是最相关和最不重要的令牌。因此，基于排序向量，作者沿令牌维度收集输入令牌。简而言之，这些过程如下：

其中是收集的图像令牌。索引向量沿通道维度重复，以保持收集信息的一致性。通过确定收集的图像令牌，作者直接将分为前景令牌和背景令牌，其中是前景和背景令牌的数量，。前景集包含相关令牌，背景集包含不太重要的令牌。由于大多数令牌包含背景信息，设置。因此，将前景令牌输入全局MSA只会产生微不足道的成本，同时直接捕获前景集中的相关信息。对于背景集，通过与背景令牌交互的一个潜在令牌可以对该集的必要信息进行编码，并产生线性复杂度。这是通过作者的单查询注意力（SQA）实现的。

混合多头自注意力

在获取前景集后，应用MSA以捕获相关令牌之间的全局信息。为了促进注意力头的多样性，本文引入了混合多头自注意力（MMSA），在更高维度上混合头信息，修改与MSA相比较小：

其中是前景注意力权重。是前景查询和键。HeadMLP是应用于头之间的MLPMixer，包括两个具有扩展比的全连接（FC）层，并在两个FC层之间插入Softmax()。得益于HeadMLP，获得了跨注意力头的依赖性。最后，混合注意力权重和值通过矩阵乘法聚合，所有头连接并线性投影以创建最终输出。详细架构如图5(a)所示。

MMSA的核心思想是将图像令牌集合直接分成两组：前景集和背景集，这一分割基于上下文分数的评估。然后，前景令牌被送入MMSA以学习相关特征，而前景集的注意力头通过简单的头MLP混合，以增加注意力头的多样性。这样，前景查询只关注重要区域，因此模型能够以较小的成本捕获信息特征，因为前景令牌的数量远小于图像令牌的总数。这种MSA的修改称为混合多头自注意力（MMSA）。对于背景令牌，由于它们包含的信息较少，作者引入了高效的单查询注意力（SQA），迫使一个独特的查询关注背景集。SQA只产生与背景令牌长度的线性复杂度。因此，大量计算成本被削减，同时仍然保持了ViT全局交互建模的能力。

单查询注意力

由于背景集有许多令牌且包含不太重要的信息，提出了单查询注意力（SQA）以高效地捕获令牌间的注意力。详细结构如图5(b)所示。形式上，给定背景令牌，SQA定义为：

其中是单查询。是背景键和值令牌。注意，中的权重与MMSA分支共享，以减少成本。是由一个唯一查询对背景集的关注产生的注意力权重。显然，SQA仍然对背景令牌的所有信息进行编码，同时享受与成线性复杂度的好处。这些信息被传播到值以生成特征。本文使用ChannelMLP代替线性投影，ChannelMLP由两个具有通道缩减的FC层和插入两个FC层之间的层归一化+ReLU组成，以稳定训练。融合输出通过和输入之间的广播元素加法实现。

3.2 PartialFormer模型配置

类似于ViT[13]中的元设计，部分Transformer块如图3所示。CPVT[7]被用作位置编码[6, 12, 16, 35, 52]，以学习局部特征并保持2D图像的几何信息。基于获得的块，我们提出了PartialFormer模型，它们是高效且通用的视觉Transformer。如图3所示，模型由四个阶段组成，空间维度通过卷积基补丁嵌入以{4, 8, 16, 32}的比率进行下采样。随着空间缩减，通道数在四个阶段中翻倍为{C, 2C, 3C, 4C}。采用全局平均池化和分类器层来预测类别logits。表1列出了通过改变堆叠块数Li（i ∈ {1, 2, 3, 4}）和基通道C的五个模型（B0-B4）。模型的成本范围从0.4 GFLOPs到6.8 GFLOPs。

4 实验和结果

在这里插入图片描述

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述