交叉注意力融合2024创新方案汇总，附配套模块和代码

多模态学习和注意力机制是当前深度学习研究的热点领域之一，而交叉注意力融合作为这两个领域的结合点，具有很大的发展空间和创新机会。

作为多模态融合的一个重要组成部分，交叉注意力融合通过注意力机制在不同模块之间建立联系，促进信息的交流和整合，从而提升了模型处理复杂任务的能力，展现出其在多模态学习和聚类分析等领域的强大优势。

本文盘点交叉注意力融合相关的13个技术成果，包含2024年最新的研究，这些模块的来源文章以及代码我都整理了，希望能给各位的论文添砖加瓦。

论文和模块代码需要的同学看文末

1.Rethinking Cross-Attention for Infrared and Visible Image Fusion

方法：本文提出了一种端到端的ATFuse网络，用于融合红外图像。通过在交叉注意机制的基础上引入差异信息注入模块（DIIM），可以分别探索源图像的独特特征。同时，作者还应用了交替公共信息注入模块（ACIIM），以充分保留最终结果中的公共信息。为了训练ATFuse，作者设计了一个由不同像素强度约束组成的分割像素损失函数，以在融合结果中达到纹理细节和亮度信息的良好平衡。

创新点：

• 提出了一种端到端的ATFuse网络，用于融合IV图像。在多个数据集上进行的大量实验表明，我们提出的ATFuse方法具有良好的效果和泛化能力。

• 基于交叉注意机制提出了一种差异信息注入模块（DIIM）。通过这个DIIM，可以分别探索源图像的独特特征。