暴力涨点！交叉注意力+特征融合，为何频登顶会？

2024深度学习发论文&模型涨点之——交叉注意力机制+特征融合

交叉注意力（Cross-Attention）

交叉注意力机制允许模型在一个模态的特征上关注另一个模态的特征，从而实现不同模态之间的信息交互。这种机制特别适用于多模态数据，因为它可以帮助模型识别和利用不同数据源之间的相关性。

特征融合（Feature Fusion）

特征融合是指将来自不同模态或不同层次的特征组合起来，以获得更丰富、更全面的表征。这可以通过多种方式实现，包括早期融合（在特征提取之前合并数据）、中期融合（在特征提取之后、决策之前合并特征）和晚期融合（在决策层面合并结果）。

Attention和多模态在深度学习领域依旧是神一般的存在，而交叉注意力融合作为交汇点，显然具有巨大的发展潜力。

我整理了一些交叉注意力融合【论文+代码】合集，需要的同学公人人人号【AI创新工场】自取。

论文精选

论文1：

[CVPR] Multi-Modality Cross Attention Network for Image and Sentence Matching

用于图像和句子匹配的多模态交叉注意力网络

方法

• 交叉注意力机制：提出了一种新颖的交叉注意力机制，不仅能够利用每种模态内部的内模态关系，还能够利用图像区域和句子单词之间的外模态关系，以互补和增强图像和句子匹配。