暴力涨点！交叉注意力+特征融合，为何频登顶会？

最新推荐文章于 2025-10-11 19:53:44 发布

原创最新推荐文章于 2025-10-11 19:53:44 发布 · 3.4k 阅读

CC 4.0 BY-SA版权

文章标签：

2024深度学习发论文&模型涨点之——交叉注意力机制+特征融合

交叉注意力（Cross-Attention）

交叉注意力机制允许模型在一个模态的特征上关注另一个模态的特征，从而实现不同模态之间的信息交互。这种机制特别适用于多模态数据，因为它可以帮助模型识别和利用不同数据源之间的相关性。

特征融合（Feature Fusion）

特征融合是指将来自不同模态或不同层次的特征组合起来，以获得更丰富、更全面的表征。这可以通过多种方式实现，包括早期融合（在特征提取之前合并数据）、中期融合（在特征提取之后、决策之前合并特征）和晚期融合（在决策层面合并结果）。

Attention和多模态在深度学习领域依旧是神一般的存在，而交叉注意力融合作为交汇点，显然具有巨大的发展潜力。

我整理了一些交叉注意力融合【论文+代码】合集，需要的同学公人人人号【AI创新工场】自取。

论文精选

论文1：

[CVPR] Multi-Modality Cross Attention Network for Image and Sentence Matching

用于图像和句子匹配的多模态交叉注意力网络

方法

交叉注意力机制：提出了一种新颖的交叉注意力机制，不仅能够利用每种模态内部的内模态关系，还能够利用图像区域和句子单词之间的外模态关系，以互补和增强图像和句子匹配。
自注意力模块：设计了一个自注意力模块，使用Transformer单元提取图像区域和单词令牌的特征，并独立地输入到Transformer单元和BERT模型中，以发现内模态关系。
交叉注意力模块：在交叉注意力模块中，将图像区域和句子单词的表示堆叠并通过另一个Transformer单元传递，然后通过1D-CNN和池化操作融合内模态和外模态信息。
双向三元组损失：在训练阶段，构建了带有硬负例挖掘的双向三元组损失，以优化模型中的参数。

创新点

统一的深度模型：提出了一种新颖的多模态交叉注意力网络，通过在统一的深度模型中联合建模图像区域和句子单词的内模态和外模态关系，用于图像和句子匹配。
交叉注意力模块：提出了一种新颖的交叉注意力模块，能够不仅利用每种模态内部的内模态关系，还能够利用图像区域和句子单词之间的外模态关系，以互补和增强图像和句子匹配。
性能提升：在Flickr30K和MS-COCO两个标准基准测试中，所提出的模型显示出与最先进的图像和句子匹配方法相比具有更好的性能。
细粒度表示：通过自注意力模块和交叉注意力模块联合建模内模态和外模态关系，能够获得更适合测量视觉和文本数据相关性的嵌入表示，从而更好地完成检索任务。

论文2：

[CVPR] DynStatF: An Efficient Feature Fusion Strategy for LiDAR 3D Object Detection

DynStatF：一种高效的激光雷达3D目标检测特征融合策略

方法

创新点

论文3：

ICAFusion: Iterative Cross-Attention Guided Feature Fusion for Multispectral Object Detection

ICAFusion：迭代交叉注意力引导的多光谱目标检测特征融合

方法

创新点

论文4：

Rethinking Cross-Attention for Infrared and Visible Image Fusion

重新思考红外和可见光图像融合的交叉注意力

方法

创新点