发文直冲A会！【多模态+注意力机制】最新成果！准确率近100%

最新推荐文章于 2025-03-14 19:47:08 发布

Ai墨芯111

最新推荐文章于 2025-03-14 19:47:08 发布

阅读量4.8k

点赞数 29

文章标签：机器学习人工智能深度学习目标检测计算机视觉

本文链接：https://blog.csdn.net/Aimoxin111/article/details/144709126

版权

2024深度学习发论文&模型涨点之——多模态+注意力机制

多模态（multimodal）结合了来自不同模态（如视觉、文本、音频等）的信息，以提高机器学习任务的性能。注意力机制（attention）在多模态融合中扮演着重要角色，它可以帮助模型识别和聚焦于不同模态中最相关的信息。

多模态融合网络（Multimodal Fusion Network）：有研究提出了一个多模态融合网络，该网络使用多头自注意力机制来最小化不同模态之间的噪声干扰，并利用局部区域特征表示之间的相关性来提取互补信息。
多模态注意力合并（Multimodal Attention Merging, MAM）：另一项研究介绍了MAM，这是一种促进从资源丰富模态（文本和图像）到资源受限领域（语音和音频）的知识转移的方法。
MAM零样本（zero-shot）范式：显著降低了自动语音识别（ASR）模型的字错误率（WER）和音频事件分类（AEC）模型的分类错误率。
多模态注意力瓶颈（Attention Bottlenecks for Multimodal Fusion）：Google Research的研究提出了Multimodal Bottleneck Transformer（MBT），利用自注意力在中间层对多模态数据进行信息交换，并将最需要分享的信息编码在一个4维隐向量中，以实现信息交换。它可以帮助模型更好地理解和融合来自不同模态的信息，从而提高各种任务的性能。

小编整理了一些多模态+注意力机制【论文】合集，以下放出部分，全部论文PDF版皆可领取。

需要的同学

回复“多模态+注意力机制”即可全部领取

论文精选

论文1：

Attention Bottlenecks for Multimodal Fusion

多模态融合的注意力瓶颈

方法

创新点

融合瓶颈策略：通过引入融合瓶颈，模型能够以更低的计算成本提高融合性能，与无限制的对应模型相比，在多个视听分类基准测试中取得了更好的结果，例如在AudioSet数据集上提升了5.9 mAP（12.7%的相对改进）。
减少计算复杂度：提出的瓶颈版本（MBT）在保持或提高性能的同时，减少了计算量，尤其是在早期融合模型中，比传统的跨模态注意力减少了超过2 mAP，且计算成本不到一半。
跨模态注意力限制：通过限制跨模态注意力流动，模型在层内必须通过瓶颈单元传递信息，这迫使模型从每个模态中提取和共享最相关的信息，从而提高了多模态融合的性能。
多模态融合的通用性：提出的模型和方法适用于不同类型和数量的模态，具有很好的通用性和适应性。

论文2：

FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object Detection

FusionPainting：用于3D目标检测的自适应注意力多模态融合

方法

创新点

论文3：

MTAG: Modal-Temporal Attention Graph for Unaligned Human Multimodal Language Sequences

MTAG：用于未对齐人类多模态语言序列的模态-时间注意力图

方法

创新点

论文4：

SyCoCa: Symmetrizing Contrastive Captioners with Attentive Masking for Multimodal Alignment

SyCoCa：通过注意力掩蔽对称化对比性描述者以实现多模态对齐

方法

创新点

双向局部交互：通过引入TG-MIM头，实现了图像到文本和文本到图像的双向局部交互，提升了细粒度的多模态对齐能力。
注意力掩蔽策略：在图像和文本的局部交互中，通过计算图像标记和文本标记之间的相似性来选择相关的图像块，提高了模型对相关信息的聚焦能力。
多模态任务性能提升：在五个视觉-语言任务上进行了广泛的实验，包括图像-文本检索、图像描述、视觉问答以及零样本/微调图像分类任务，验证了所提方法的有效性。例如，在Flickr-30k数据集的图像-文本检索任务上，与CoCa相比，mTR/mIR分别提升了5.1%/3.7%资料