【AI大模型】12、NLP预训练模型技术演进史：从RNN到GPT-4

一、技术黎明：序列建模的早期探索（2010年前）

（一）循环神经网络的诞生与局限

在自然语言处理的蛮荒时代，如何建模语言的序列特性是核心难题。20世纪90年代诞生的循环神经网络（RNN）首次引入循环结构，通过隐藏状态传递机制，使得网络能够捕捉序列中的历史信息，如同人类阅读时结合前文理解后文。每个RNN单元的隐藏状态$h_t$不仅接收当前输入$x_t$，还依赖前一时刻的隐藏状态$h_{t-1}$，其数学表达式为：
$$h_t=\sigma (W_{xh}{x}_t+W_{hh}{h}_{t-1}+b_h)$$
这种设计让RNN在词性标注、语音识别等任务中崭露头角，但随着序列长度增加，梯度消失问题逐渐显现，导致其难以建模长距离依赖关系。

（二）LSTM的门控革命

1997年，Hochreiter与Schmidhuber提出长短期记忆网络（LSTM），通过引入遗忘门、输入门和输出门三大控制单元，构建了记忆细胞（cell state）结构。遗忘门$f_t$决定丢弃哪些历史信息，输入门$i_t$控制新信息的写入，输出门$o_t$调节记忆的输出，其核心公式如下：
f t = σ ( W f ⋅ [ h t − 1 , x t ] + b f ) i t = σ ( W i ⋅ [ h t − 1 , x t ] + b i ) C ~ t = tanh ⁡ ( W C ⋅ [ h