LLM - Transformer 的 多头自注意力(MHSA) 理解与源码

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/140281680

免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。

---

在 Transformer 中，多头自注意力机制 (MHSA, Multi-Head Self-Attention) 是核心创新之一，极大地提升模型处理序列数据的能力。

**自注意力机制 (Self-Attention) **

自注意力机制的核心思想是，在序列中的每个元素都与其他所有元素相关，这种关系是通过注意力权重来表示。具体来说，自注意力机制通过以下步骤计算：

1. 计算 Query、Key 和 Value 矩阵