【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper+代码——交叉注意力（Cross-Attention）

【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper+代码——交叉注意力（Cross-Attention）

【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper+代码——交叉注意力（Cross-Attention）

---

---

1. 交叉注意力的起源与提出

交叉注意力（Cross-Attention）是在深度学习中提出的一种重要注意力机制，用于在多个输入之间建立关联，主要用于多模态任务中（如图像和文本、视频和音频的联合处理）。

与常规的自注意力机制不同，交叉注意力专注于从两个不同的输入特征空间中提取和结合关键信息。这种机制最初在自然语言处理和计算机视觉的融合任务中得到应用，例如在多模态Transformer、机器翻译和图像-文本任务（如CLIP、DALL·E、VQA等）中。

• 提出背景：交叉注意力通常用于处理两种不同类型的数据，通过这种机制，一个输入可以对另一个输入进行查询，捕捉和增强跨模态之间的关联。相比自注意力（仅在同一个输入中找到相关性），交叉注意力能够有效地捕捉多模态数据的