深度学习10种attention机制（快收藏）

1️⃣标准注意力机制：
Soft Attention：一种灵活的注意力分配方式，允许模型在序列的不同部分分配不同程度的关注。
Hard Attention：一种严格的注意力分配方式，模型只关注序列中的特定部分。

2️⃣自注意力（Self-Attention）：允许序列内部的元素相互交互，广泛用于Transformer模型。

3️⃣多头注意力（Multi-Head Attention）：在Transformer中使用，允许模型同时关注序列的不同方面。

4️⃣空间注意力（Spatial Attention）：在计算机视觉任务中使用，关注图像的不同空间区域。

5️⃣通道注意力（Channel Attention）：特别关注不同特征通道的重要性，常见于视觉处理的卷积神经网络。

6️⃣层次注意力（Hierarchical Attention）：在多层次结构（如文档、段落、句子）中使用，分别对不同层级的数据应用注意力。

7️⃣时间注意力（Temporal Attention）：用于处理时序数据，如视频分析或音频处理，关注时间序列的不同部分。

8️⃣图注意力网络（Graph Attention Networks, GATs）：用于处理图结构数据，允许节点根据其邻居节点的特性分配注意力。

9️⃣协同注意力（Co-Attention）：在多模态学习中使用，比如结合视觉和文本信息，模型在两种类型的数据上同时应用注意力。

🔟交叉注意力（Cross-Attention）：允许来自两个不同序列的元素相互作用，常见于序列到序列的任务中。