pljnb的博客

在标准RNN中，隐藏状态更新公式为：ht=tanh⁡(Whhht−1+Wxhxt+bh)h_t = \tanh(W_{hh}h_{t-1} + W_{xh}x_t + b_h)ht​=tanh(Whh​ht−1​+Wxh​xt​+bh​)梯度计算通过链式法则展开：∂ht∂ht−1=WhhT⋅diag(tanh⁡′(...))\frac{\partial h_t}{\partial h_{t-1}} = W_{hh}^T \cdot \text{diag}(\tanh'(...))∂ht−1​∂

在保留LSTM长程记忆能力的前提下，简化网络结构。

解决传统RNN的梯度消失/爆炸问题，显式建模长期依赖关系：引入，通过三个门结构精确控制信息流动。

定义权重参数# x_seq形状: (seq_length, batch_size, input_size)h = torch.zeros(batch_size, self.hidden_size) # 初始隐藏状态for x_t in x_seq: # 按时间步迭代# 更新隐藏状态self.b_h# 计算输出。

个注意力头（heads），每个头在不同子空间中学习不同的表示。多头注意力基于对缩放点乘注意力的并行化扩展，引入了。设输入序列表示为矩阵。

组件作用形状（Batch, Seq, Dim）Query要“查询”的向量集合，一般来自解码器当前步或同一序列BLqdkBLq​dk​Key用于“匹配”查询的向量集合，一般来自编码器输出或同一序列BLkdkBLk​dk​Value与 Key 一一对应的“值”向量集合，最终以加权和形式输出BLvdvBLv​dv​, 通常LkLvL_k=L_vLk​Lv​投影（Projection）