深度学习基础（七）递归神经网络基础

参考文章：
深度学习之RNN(循环神经网络)
深度学习入门：一句话告诉你什么是神经网络（CNN,RNN,DNN
循环神经网络（RNN）为什么能够记忆历史信息
零基础入门深度学习 | 第六章：长短时记忆网络(LSTM)

RNN递归神经网络

结构

全连接的普通神经网路还存在着另一个问题——无法对时间序列上的变化进行建模。然而，样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。对了适应这种需求，就出现了另一种神经网络结构——循环神经网络RNN。

RNN的结构如上图所示，RNN与其结构包含了几个方面，分别为：

1. 输入
2. 带有激励状态保存的隐含层
3. 输出层

与普通NN结构中不相同的点在于隐藏层中包含了一层可以记录之前激励状态的一层。 保证了RNN可以记录下之前输入所得到的激励值。

RNN中的正向传播

上图为将RNN进行展开后的情况，可以看出，在每次时间变化后都会产生不同的激励值从而产生不同的输出。
RNN的正向传播的公式为：
$$o_t$$