注意力机制23种魔改方法汇总

以下是一些主要的注意力机制改进方法的总结：

多头注意力（Multi-Head Attention）：允许模型同时关注不同的信息子空间。

自适应注意力（Adaptive Attention）：动态调整注意力的聚焦点。

局部注意力（Local Attention）：关注序列中的局部区域以提高效率。

全局注意力（Global Attention）：在整个序列上计算注意力。

层次注意力（Hierarchical Attention）：多级别的注意力机制，适用于复杂结构。

交叉注意力（Cross-Attention）：在不同模态或流程间共享注意力。

自注意力（Self-Attention）：一个序列内部元素间的注意力机制。

稀疏注意力（Sparse Attention）：只关注重要的键值对，提高效率。

卷积注意力（Convolutional Attention）：结合卷积操作以捕捉局部模式。

门控注意力（Gated Attention）：通过门控机制控制信息流。

对抗性注意力（Adversarial Attention）：使用对抗训练来改善注意力的鲁棒性。

图注意力（Graph Attention）：用于处理图结构数据。

硬注意力（Hard Attention）：基于离散选择，而非软性权重分配。

软注意力（Soft Attention࿰