rnn按时间展开_循环神经网络（RNN）以及简单TensorFlow实例

当现在的输出不仅与现在的输入有关，还与过去的输出有关时，传统的神经网络无济于事，这时候循环神经网络（Recuurrent Neural Networks，RNN）能够对这种情况进行建模，这种思想与《建模与辨识》课程中线性动态系统的建模类似。RNN是深度学习领域又一个基本结构（除了CNN），它具有预测未来的作用，因此深度RNN在语音识别、自然语言处理、股价预测等领域广泛应用且效果惊人。

基本结构

对于最基本的RNN单元，它接收两个输入，一个来自上一时刻的输出

，一个来自当前时刻的状态输入

。在一个基本单元中可以包含多个神经元，也可以只有一个神经元。

按时间维度展开的RNN

于是对于某一个RNN单元来说，输入和输出可能为矢量（多维）或标量（一维），有两套权重

和

，b为偏置项，

为激活函数，在RNN中激活函数通常设置为logist和tanh函数，而不是ReLU函数。公式如下：

通过递推可以发现，t时刻的输出是过去所有时刻输入的函数，这种能保存过去状态的神经网络单元被称作memory cell。把隐层状态定义为

,于是这种记忆特性用数学表达式为：

。每一个时刻t的输出状态定义为

,在最简单最基本的RNN单元中，

。