【科普】大白话一文讲懂自注意力机制和注意力机制的区别

在注意力机制中，模型可以将注意力集中在输入序列中的特定位置，以便更好地理解其与输出之间的相关性。比如“关于亚太经济开发区的发展规划将于2021年4月5日进行发布”翻译成英文时，像“亚太经济开发区”这样的字眼，模型会放注意力在这上面，而不是放在“亚”“太”“经”“济”“开”“发”“区”上，总而言之，注意力机制允许模型在翻译输出句子的单词时查看原始句子中的每一个单词，然后根据模型自己从训练数据中学到的“什么类型的单词是相互依赖的”这样的知识对相关单词进行关注，从而输出更加准确的语义信息。

这样的关注机制使得模型能够对输入的不同部分赋予不同的重要性，为了计算某个位置的注意力权重，模型需要考虑所输入序列所有其他位置的信息，包括与其他序列（或外部信息）之间的关系，比如源语言序列和目标语言序列之间的对齐关系。

这意味着，无论输入序列有多长，都需要对所有位置进行全局计算，这在长序列上会产生较高的计算复杂度，导致模型训练和推理的效率下降。

具体而言，在传统的全局注意力机制中，通常采用固定窗口大小或者其他限制来控制每个位置与其他位置之间的相关性。（之所以用固定窗口是因为它需要对所有位置进行全局计算）例如，使用加性注意力或乘性注意力时，可能会引入随着距离增加而衰减的注意力权重。这种固定窗口大小或限制可能会导致在处理长序列时，模型难以准确地捕捉到远距离位置之间的依赖关系。即传统的注意力机制对输入序列设计了一个固定窗口，使得这个序列里面的各元素之间的相关性会被限制住，比如其实首单词和尾单词的相关度很高，但是它们在窗口中的位置里的很远，所以就可能遇到模型很难准确捕捉到远距离位置之间的依赖关系这样的情况。

相比之下，自注意力机制并没有这样的固定窗口大小或限制。在计算注意力权重时，自注意力机制考虑了序列中每个位置与其他所有位置的相关性，从而能够捕捉到任意两个元素之间的长程依赖关系。这种自由的计算范围使得自注意力机制能够在长序列上更好地建模全局的上下文信息。在计算注意力权重时，每个位置的注意力与其他位置是相互独立的，这使得自注意力机制可以充分发挥现代硬件的并行计算能力，如GPU或TPU加速。这样的并行计算能力在处理长序列时非常重要，因为它大大提高了计算效率，使得模型能够更快地训练和推理。但是传统的注意力机制也有优点，就是适用于短序列，且简单直观易于实现，且能考虑到不同序列之间的信息交互。

总之，注意力机制有广度，为了能考虑到不同序列之间的信息交互，它必须要设置固定窗口方便进行全局计算，这也就导致了适用于短序列。自注意力有深度，它只关注序列内部每个位置与其他位置的相关性，从而能够捕捉到任意两个元素之间的长程依赖关系。