【DL水记】循环神经网络RNN的前世今生，Transformer的崛起，Mamba模型

RNN网络简介

“当人类接触新事物时，他们不会从头开始思考。就像你在阅读这篇文章时，你会根据以前的知识理解每个单词，而不是舍弃一切，从字母开始重新学习。换句话说，你的思维有延续性。”

如同卷积神经网络（Convolutional Neural Network, CNN）在计算机视觉领域深度学习模型的地位，循环神经网络（Recurrent Neural Network，RNN）同样对计算机听觉、时间序列预测、自然语言处理（Natural Language Processing，NLP）做出了巨大贡献。
使用循环神经网络最重要的目的就是解决输入数据的次序问题（当前时刻输入的信息可能受前一时刻输出的影响，存在时序关联性）。比如，对于人们日常对话中的语音和文本而言：播放一段录音和倒放一段录音、正着读一段文字和倒着读一段文字所能获取的信息并不相同（当然，通过一定训练能听懂的唱跳rap古神语或阿米诺斯除外）。
因此，为解决这一类需要捕捉序列数据中的时序依赖关系的问题，基于传统机器学习中包含输入、隐藏、输出三层的神经网络结构演变出的循环神经网络模型，通过引入一个递归、延迟或称作循环的单元结构来建立输入信息之间的时序依赖关系，从而允许信息在网络中传递并保持一定的记忆。

传统RNN单元基本结构

传统RNN网络结构

RNN 网络的基本结构包括一个输入层$x_t$、隐藏层$h_t$（含激活函数Activation Function）、延迟器（循环单元）、输出层$h_t$，

网络中的神经元通过时间步骤连接形成循环：允许信息从一个时间步骤的输出$h_{t-1}$通过与输入$X_t$经过tanh函数激活后，传递至下一个时间步骤输入的一部分；
RNN具体计算公式：

h t = t a n h ( W i h x t + b i h + W h h x t − 1 + b h h ) h_t=tanh(W_{ih}x_t+b_{ih}+W_{hh}x_{t-1}+b_{hh}) ht​=tanh(Wih​xt​+b