自注意力机制（self-attention）

《Attention Is All You Need》

注意力机制

理解注意力：想象在一个嘈杂的房间听一群人讲话，会不自觉地将注意力集中在某些关键的人或话语上，以便更好地理解整个场景。
在自然语言处理中，注意力机制就类似这种“聚焦”的能力，它能够帮助模型关注输入文本中更重要部分，而不像以前的模型那样平等的对待每个单词。

• 自注意力的计算

假设我们有一个句子“我爱自然语言处理”，首先会把每个单词变成一个数字向量来表示，类似给每个单词一个独特的身份编码。然后，自注意力机制会对每个单词做三件事：一产生查询向量，代表这个单词想要寻找的信息，比如“我”这个单词的查询向量可能是想要找和自己相关的动作或对象；二生成键向量，代表单词自身的一些特征，“我”的键向量就体现了“我”这个词的特性；三生成值向量，对输入单词信息的一种压缩表示。
计算每个单词的查询向量与其他单词的键向量的点积，得到一个表示它们之间关联程度的分数，这个分数经过缩放和Softmax操作后，就变成了注意力权重，权重越大说明这个单词对另一个单词的关注度越高。最后，根据这些权重对应的值向量进行加权求和，得到每个单词的新表示，这个新表示综合了句子中其他单词的信息，让每个单词都能“感知”到整个句子的上下文。

直观理解加权求和过程

假设有一个句子“阳光照亮了房间”。对于单词“照亮”，在计算它的新表示时，会先得到它与其他单词（“阳光”“了”“房间”）的注意力权重。如果“阳光”与“照亮”的注意力权重较高，说明模型认为“阳光”对“照亮”这个动作的理解很重要。那么在加权求和过程中，“阳光”的值向量就会对“