22、注意力机制与Transformer模型详解

注意力机制与Transformer模型详解

1. 注意力机制优势概述

注意力机制在处理序列数据时展现出了显著优势，与传统的循环神经网络（RNN）相比，主要体现在以下两个方面：
|对比项|注意力机制|循环神经网络（RNN）|
| ---- | ---- | ---- |
|对序列元素的访问方式|直接访问所有输入序列元素，这虽然对最大序列长度有严格限制，但截至目前，基于Transformer的大语言模型（LLM）能够处理超过32,000个标记的序列。|将输入元素的信息编码在单个隐藏（思想向量）中，理论上它是所有序列元素的浓缩表示，但实际中表示能力有限，在新标记开始抹去旧标记信息之前，只能保留最大长度约为100个标记的有意义信息。|
|输入序列的处理方式|完全由矩阵乘法运算组成，这些运算具有高度的并行性，使得在大型训练数据集上训练具有数十亿可训练参数的LLM成为可能。|按元素到达的顺序逐个处理输入序列元素，因此无法进行并行化处理。|

不过，注意力机制也存在一个缺点，即它不像RNN那样能保留序列元素的顺序。但在Transformer编码器部分会介绍解决这一限制的方法。

2. 注意力机制的实现

2.1 缩放点积注意力的实现

缩放点积注意力实现了公式 $Attention(Q, K, V) = softmax(Q K^⊤ / \sqrt{d_k})V$，其中 $Q$ 为查询，$K$ 为键，$V$ 为值。以下是具体的Python代码实现：

import math

def attention(query, key, value