【ICLR 2025】MLLM视觉Attention重分配！VAR方法来了！无需训练提升多模态能力！_see what you are told: visual attention sink in la-CSDN博客

本文链接：https://blog.csdn.net/m0_59235945/article/details/147111357

论文名：SEE WHATYOUARETOLD: VISUALATTENTIONSINK IN LARGE MULTIMODAL MODELS

论文链接：https://arxiv.org/pdf/2503.03321

导读

大型多模态模型（LMMs）一直在积极拓展大语言模型在多模态任务中的能力。特别是，大型多模态模型利用预训练的视觉编码器处理图像数据，并使用大语言模型的Transformer解码器生成文本响应。这种简单而强大的架构已被证明在视觉问答、图像描述和视觉推理等视觉 - 语言任务中，利用图像中的视觉信息非常有效。

简介

大型多模态模型（LMMs）通过利用Transformer解码器中文本和视觉标记之间的注意力机制来“查看”图像。理想情况下，这些模型应聚焦于与文本标记相关的关键视觉信息。然而，近期研究发现，大型多模态模型有一种异常的倾向，即持续为特定视觉标记分配高注意力权重，即便这些标记与相应文本无关。在本研究中，我们探究了这些无关视觉标记出现背后的特性，并考察了它们的特征。我们的研究结果表明，这种行为是由于某些隐藏状态维度的大规模激活所致，这与语言模型中发现的注意力陷阱类似。因此，我们将这一现象称为视觉注意力陷阱。特别地，我们的分析显示，去除这些无关的视觉陷阱标记并不会影响模型性能，尽管它们获得了高注意力权重。因此，我们将分配给这些标记的注意力作为剩余资源进行回收，重新分配注意力预算以增强对图像的聚焦。为实现这一目标，我们引入了视觉注意力再分配（VAR）方法，该方法可在以图像为中心的头中重新分配注意力，我们发现这些头天生就聚焦于视觉信息。VAR可以无缝应用于不同的大型多模态模型，以提高其在广泛任务中的性能，包括通用视觉 - 语言任务、视觉幻觉任务和以视觉为中心的任务，且无需额外的训练、模型或推理步骤。实验结果表明，VAR通过调整大型多模态模型的内部注意力机制，使其能够更有效地处理视觉信息，为提升大型多模态模型的多模态能力提供了新方向。

方法与模型

图2：大语言多模态模型（LMMs）典型架构及视觉注意力汇聚点研究示意图。一个大型多模态模型接收图像和文本作为输入。每个文本标记通过Transformer解码器中的注意力机制与视觉标记进行交互。我们可以以注意力图的形式将这种交互可视化。我们发现，注意力图中不相关的视觉标记（标记为红色框）在隐藏状态的特定维度上有大量激活，而相关的视觉标记（标记为蓝色框）则没有。语言模型中著名的汇聚标记（例如，“起始符”（BOS））在隐藏状态中也呈现出相同的模式。

1.视觉注意力汇聚点

在大语言模型（LMMs）中，为了生成考虑视觉信息的回复，文本标记（token）通过Transformer解码器中的注意力机制“查看”图像。从视觉标记（键）到文本标记（查询）的注意力被解释为单个文本标记对视觉信息的关注。基于这种解释，我们可以以视觉注意力图的形式研究从视觉标记到文本标记的注意力权重。视觉注意力图可以表达大语言模型中文本标记和视觉标记之间的交互。图1展示了指定文本标记和视觉标记之间的视觉注意力图。期望模型仅关注与文本标记相关的视觉标记。

然而，正如先前的研究（Woo等人，2024年；An等人，2024年）所报道的那样，该模型也会关注一些与相应文本标记无关的视觉标记。例如，如图1右上角所示，模型将较高的注意力权重分配给了与文本标记“香蕉”无关的视觉标记（红色框）。此外，无论具体的文本标记是什么，无关的视觉标记都存在于固定的位置。这种一致的模式表明，无关的视觉标记具有导致其出现的内在属性。我们对这些无关视觉标记出现背后的属性感兴趣，并希望了解它们在大语言多模态模型（LMMs）中的含义。

在接下来的章节中，我们发现视觉注意力图中的无关视觉标记源于隐藏状态特定维度的大规模激活。这种现象类似于语言模型中的注意力陷阱（Xiao等人，2023年；Sun等人，2024a），在语言模型中，模型会将较大的注意力权重分配给语义有限的标记（例如，句首标记BOS）。我们将这种现象称为视觉注意力陷阱，并进一步分析其特征。

1.1 无关视觉标记的属性研究

我们将视觉注意力图中具有高注意力权重的视觉标记分为两类：无关视觉标记和相关视觉标记。无关视觉标记是与相应文本标记无关的视觉标记。相比之下，相关视觉标记是与相应文本标记相关的视觉标记。图2分别用红色和蓝色框展示了无关和相关视觉标记的示例。

如何区分无关视觉标记？我们关注到，无论文本标记是什么，无关视觉标记始终出现在固定位置。如图1左下角所示，无论文本标记是“刀（knife）”还是“杯子（cup）”，模型始终关注相同的无关视觉标记。这一观察结果表明，无关视觉标记的出现并非由于文本标记，而是其自身固有属性的结果。因此，我们检查无关标记的隐藏状态，以研究它们的独特属性。图2右侧展示了无关视觉标记（红色）、相关视觉标记（蓝色）以及“起始符（BOS）”标记（绿色）的隐藏状态。

无关视觉标记在特定维度上具有高激活值。我们观察到，无关视觉标记的隐藏状态在特定维度上呈现出大量激活，而相关视觉标记则没有。此外，无关视觉标记中高度激活的维度与“BOS”标记的维度相同，“BOS”标记在语言模型中被称为代表性的注意力汇聚标记（Sun等人，2024a）。这一观察结果表明，无关视觉标记与注意力汇聚密切相关。

为了进一步拓展并规范这一观察结果，我们检查了特定维度（称为汇聚维度）在标记的隐藏状态中的大量激活值。是一组固定维度，由大语言多模态模型（LMMs）的基础语言模型确定。例如，LLaMA - 2（图夫龙等人，2023年）是LLaVA - 1.5 - 7B（刘等人，2024a）的基础语言模型，其具有。我们在附录A.1中验证了大语言多模态模型中的汇聚维度与基础语言模型中的汇聚维度一致，并采用了孙等人（2024a）报告的汇聚维度。给定一个标记的隐藏状态，我们将汇聚维度值表示如下：，其中是隐藏状态的第个维度。为了稳定性，隐藏状态通过各维度的均方根进行归一化处理，并且我们仅考虑汇聚维度中的最大值。如图2最右侧所示，无关视觉标记（红色）的汇聚维度值显著高于相关视觉标记（蓝色）的汇聚维度值。

汇维度值（Sink dimension value）可以将无关的视觉标记与相关的视觉标记区分开来。我们引入汇维度值来区分无关的视觉标记和相关的视觉标记。对于视觉标记，我们在图3(a)中绘制了汇维度值的成对值和相应的注意力权重。详细的实验设置在附录D.3中描述。具有高注意力权重的视觉标记的汇维度值分布明显分为两组：一组汇维度值较低，另一组汇维度值较高。通过这一分析，我们现在将具有高汇维度值的视觉标记定义为视觉汇标记（visual sink tokens），并指出它们与语言模型中的注意力汇（attention sink）密切相关。

具体而言，我们设置一个阈值来划分图 3(a) 中的分布，并将汇聚标记（sink token）的索引定义为，其中是第层中第个标记的输入隐藏状态。在后续分析中，我们设置。我们注意到，的定义也涵盖了所有汇聚标记的索引，包括视觉标记和文本标记。我们将视觉汇聚标记表示为，其中是视觉标记的索引集合。为方便起见，我们将其他视觉标记称为视觉非汇聚标记，并将它们表示为。虽然视觉汇聚标记的定义也包括如图 3(a) 所示的注意力权重较低的标记，但由于它们的注意力权重较低，它们对模型的贡献极小。因此，我们可以在后续分析中忽略它们。

图3：视觉汇聚令牌分析。(a) 视觉令牌的汇聚维度值与注意力权重的散点图。(b) 屏蔽视觉汇聚令牌与屏蔽相同数量的随机视觉令牌的性能比较。虚线表示原始模型的性能。© 视觉汇聚令牌和随机视觉令牌的平均注意力贡献。(d) 有无视觉汇聚令牌的视觉注意力图，其中视觉汇聚令牌用红色框突出显示。

1.2. 分析视觉汇聚标记（Visual Sink Tokens）的特征

接下来，我们分析视觉汇聚标记的特征。具体而言，我们进行实验以验证视觉汇聚标记是否具有与语言模型中的汇聚标记类似的特征。汇聚标记本身对模型的响应没有实质性影响（小林等人，2020年；邦达连科等人，2023年；余等人，2024年；顾等人，2024年）。我们通过以下两种方式验证视觉汇聚标记是否也对模型输出没有贡献：（1）评估屏蔽视觉汇聚标记后模型的性能；（2）测量视觉汇聚标记对残差流的机制性贡献。

令牌屏蔽实验。为了评估视觉汇聚令牌对模型输出的影响，我们屏蔽了从视觉汇聚令牌到文本令牌的注意力。这种操作使模型无法从视觉汇聚令牌接收任何信息。如图3(b)所示，屏蔽视觉汇聚令牌对模型性能影响很小。相比之下，屏蔽相同数量的随机视觉令牌会导致性能显著下降。这一结果表明，视觉汇聚令牌对模型响应的贡献可以忽略不计。

贡献分析。我们进一步研究了视觉汇聚令牌（visual sink tokens）对残差流的机制性贡献。具体而言，我们测量了从视觉汇聚令牌到文本令牌残差流的注意力贡献（小林等人，2020年；巴苏等人，2024年），其计算方式为，其中（推导过程见公式2）。图3©显示，与其他视觉令牌相比，视觉汇聚令牌对残差流的注意力贡献显著更低。我们还从定性角度证实，如图3(d)所示，视觉汇聚令牌的定义能够清晰地过滤掉无关的视觉令牌。

关于视觉注意力汇聚点的进一步讨论。为了更深入地探索视觉注意力汇聚点，我们对视觉汇聚点标记进行了进一步分析，并在附录A.2中讨论了它们的特征。在此，我们总结关键要点。（1）视觉汇聚点标记大多位于信息量较少的背景中。这一观察结果与视觉Transformer（ViT）的研究结果相似（达塞特等人，2023年）。此外，考虑到语言模型中的注意力汇聚点出现在语义意义较小的标记中（例如“，”、“\n”）（费兰多和沃伊塔，2024年；于等人，2024年），视觉汇聚点标记也与语言模型中的研究结果相似。（2）我们发现视觉汇聚点标记与文本汇聚点标记在同一维度上表现出大量激活。这一证据表明，视觉汇聚点标记和文本汇聚点标记的形成共享从基础语言模型继承而来的相同底层机制。总之，一些视觉标记的语义意义较小，大型多模态模型（LMMs）将它们视为视觉汇聚点标记，这与语言模型的行为类似。我们将在训练过程中如何将视觉标记识别为汇聚点标记的研究留作未来工作。

1.3. 视觉注意力汇聚点中的多余注意力：我们能否对其进行再利用？

我们的实验表明，即使视觉汇聚点标记（visual sink tokens）具有较高的注意力权重，它们也不会对模型的输出产生贡献。这促使我们将分配给汇聚点标记的注意力权重视为可作为“注意力预算”进行再利用的免费资源。近期研究表明，与文本相比，大语言模型（LMMs）往往对图像的关注度不足，这可能导致视觉 - 语言任务的表现欠佳（陈等人，2024年；刘等人，2024d）。通过从注意力预算中补偿对图像的注意力，可以缓解这一问题。

图4：按视觉非汇点比率排序的注意力头可视化。我们展示了一些视觉非汇点比率高的注意力头（左）和视觉非汇点比率低的注意力头（右）。视觉非汇点比率高的注意力头倾向于关注与相应文本标记相关的视觉标记。另一方面，视觉非汇点比率低的注意力头的注意力模式较为模糊。视觉非汇点比率高的注意力头被选为以图像为中心的注意力头。

此外，视觉汇点标记可用于计算真实的图像内容。虽然视觉汇点标记获得了较高的注意力权重，但它们与相应的文本标记没有语义关联。相反，视觉非汇点标记比视觉汇点标记更接近真实的图像内容。因此，我们可以利用分配给视觉非汇点标记的注意力来衡量注意力头对图像的关注程度。在后续部分，我们将应用这一概念来选择关注图像的特定注意力头。

2.视觉注意力重新分配

在本节中，我们将基于4.3节的讨论，介绍视觉注意力重新分配（Visual Attention Redistribution，VAR）方法，该方法用于增强大语言模型（LMMs）对图像的关注。我们的方法包括两个步骤：（1）基于视觉注意力汇聚点选择以图像为中心的注意力头（5.1节）；（2）仅在选定的注意力头中将注意力预算从汇聚点标记重新分配到视觉非汇聚点标记（5.2节）。图5展示了VAR的总体情况。

图 5：视觉注意力重新分配（Visual Attention Redistribution，VAR）概述。(a) 我们通过评估视觉非汇聚比率来选择以图像为中心的注意力头；将对应的注意力头选为以图像为中心的注意力头。(b) VAR 将多余的注意力权重从汇聚标记重新分配到视觉非汇聚标记。注意力预算累积了汇聚标记的一部分注意力。最后，视觉非汇聚标记从接收注意力。

2.1. 选择以图像为中心的注意力头

在第4节中，我们提出可以通过重新分配来自汇聚令牌（sink tokens）的注意力权重来补充对图像的注意力权重不足的问题。然而，对所有注意力头应用重新分配会导致性能显著下降（见表4）。鉴于Transformer中的每个注意力头可能具有不同的作用（戴瑟罗斯等人（Deiseroth et al.），2023年；张等人（Zhang et al.），2024a；葛等人（Ge et al.），2024年；郑等人（Zheng et al.），2024年），简单地重新分配所有头的注意力权重可能会忽略一些注意力头的作用，这些头的功能与图像交互无关。因此，在重新分配注意力权重之前，应该先选择以图像为中心的头，这些头负责关注图像。

视觉注意力汇聚点可用于选择以图像为中心的注意力头。由于对视觉标记注意力权重较低的注意力头显然没有聚焦于图像，因此我们仅考虑对视觉标记注意力权重较高的注意力头。具体而言，对于每一层，我们首先舍弃对视觉标记注意力权重之和小于 0.2 的注意力头。之后，我们引入视觉注意力汇聚点来选择以图像为中心的注意力头。如果模型对视觉汇聚点标记分配了较高的注意力权重，那么即使该注意力头没有聚焦于图像，其对视觉标记的注意力权重之和也可能较高。根据 4.3 节的讨论，分配给非视觉汇聚点标记的注意力权重比例可以表明每个注意力头实际聚焦于重要视觉信息的程度。因此，遵循 3 节中的符号表示，我们将非视觉汇聚点比例定义为：

其中和分别表示所有视觉标记的集合和视觉非汇聚标记（visual non-sink tokens）的集合。当视觉非汇聚比率较高时，我们可以预期第层的注意力头会更多地关注重要的视觉信息。

具有高视觉非汇聚率的注意力头聚焦于重要区域。为了验证视觉非汇聚率的有效性，我们在图 4 中根据视觉非汇聚率对注意力头进行排序并可视化。我们发现，具有高视觉非汇聚率的注意力头更有可能集中在与给定文本标记相关的重要视觉标记上。另一方面，具有低视觉非汇聚率的注意力头对各种视觉标记呈现出稀疏且分散的注意力模式。我们选择视觉非汇聚率大于的注意力头作为以图像为中心的注意力头。图 5(a) 展示了选择过程。这里，是一个控制所选注意力头数量的超参数。我们在附录 A.3 中进一步研究以图像为中心的注意力头的特征。

2.2. 重新分配注意力权重

在选择以图像为中心的注意力头后，我们将所选注意力头中从汇聚令牌（sink tokens）到视觉非汇聚令牌（visual non-sink tokens）的注意力权重进行重新分配。图5（b）展示了重新分配的过程。我们首先将汇聚令牌的注意力权重的一部分累积到注意力预算中。部分控制着要重新分配的注意力权重的数量。

为简洁起见，此后我们将省略上标。汇聚令牌的注意力权重降至，注意力预算计算为。

然后，我们将注意力预算分配给视觉非汇点标记（即）。受等人（2024年）的启发，我们在考虑视觉标记相对重要性的情况下重新分配注意力权重。重新分配注意力权重后，视觉非汇点标记的注意力权重更新如下：

这种方法确保了注意力权重在重新分配后总和仍等于1 ，从而保留了整体分布。请注意，注意力权重的重新分配适用于所有文本标记，包括指令和生成的响应。

实验与结果

1. 实验设置

模型设置。由于我们的方法仅修改大型多模态模型（LMM）的注意力，因此视觉注意力重分配（VAR）可以简单地应用于各种大型多模态模型，而无需额外的训练、模型或推理步骤。我们采用了LLaVA - 1.5 -7B、LLaVA - 1.5 - 13B、LLaVA - 1.5 - HD - 13B（刘等人，2024a）、VILA - 13B（林等人，2024）、Qwen2 - VL - 7B（王等人，2024）和InternVL2 - 8B（团队，2024）作为我们的基础模型。

任务与基准。我们在广泛的视觉 - 语言基准测试中评估我们的方法。这些基准测试分为三类：通用视觉 - 语言任务、视觉幻觉任务和以视觉为中心的任务。（1）通用视觉 - 语言任务评估大语言模型（LMMs）的综合多模态能力。我们在10个基准测试中，将我们的方法与基础模型进行比较。（2）视觉幻觉任务评估模型的响应是否与图像内容一致，以确保模型的可信度和可靠性。我们使用CHAIR（罗尔巴赫等人，2018年）、POPE（李等人，2023c）和MMHal - 基准（孙等人，2023年）。（3）以视觉为中心的任务评估视觉理解能力，例如确定图像中物体之间的空间关系。我们使用MMVP（童等人，2024b）、CV - 基准2D和CV - 基准3D（童等人，2024a）。关于这些任务和基准测试的更多细节见附录D.1。

实现细节。我们对同一任务类型中的所有基准测试使用相同的超参数。在我们的实验中，我们为所有实验设置设定了和。对于表1中的通用视觉 - 语言任务，设置为0.8；对于表2中的视觉幻觉任务，设置为0.5；对于表3中的以视觉为中心的任务，设置为0.9。我们不修改最后一层的注意力头，因为最后一层被认为具有特殊作用（拉德等人，2024年；孙等人，2024b）。

2. 主要结果

通用视觉语言任务、视觉幻觉任务和以视觉为中心的任务的实验结果分别列于表1、表2和表3。VAR（视觉注意力调节，Visual Attention Regulation）在所有基准测试中都可靠地提升了基础模型的性能。尽管这些基准测试具有不同的特点和评估设置，但VAR无需针对每个基准测试进行特定的超参数调整，就能展现出稳健的性能。具体而言，表2表明VAR在所有基准测试中都能有效减轻视觉幻觉，表3显示通过编辑大语言模型（Large Multimodal Models，LMMs）的注意力机制可以增强复杂的视觉理解能力。值得注意的是，配备VAR的LLaVA - 1.5 - 7B模型在GQA、VizWiz、MME和POPE等测试中的表现优于原始的LLaVA - 1.5 - 13B模型，这表明在不增加模型规模的情况下，仅通过增强对图像的关注就有足够的空间来提升性能。

图6：视觉注意力调节（VAR）的定性分析。应用视觉注意力调节（VAR）前后的视觉注意力图表明，视觉注意力调节（VAR）增强了对与相应文本标记相关的关键视觉标记的关注。因此，该模型可以通过更有效地观察图像来生成更准确的响应。

结论

本文揭示了大语言模型（LMMs）中视觉注意力汇聚点的性质和特征，表明该模型始终会关注图像中不相关的部分。此外，我们提出了视觉注意力再分配（VAR）方法，通过回收来自视觉汇聚点标记的多余注意力预算，来强调与相应文本标记相关的视觉信息。实验结果表明，仅通过编辑注意力图，大语言模型就能在图像理解方面表现得更好。我们希望我们的工作能够有助于理解大语言模型中的注意力机制，并为提升大语言模型的多模态能力提供新的方向。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述