使用TensorFlow构建RNN

1.简介

RNN是循环神经网络，能够结合数据点之间的特定顺序和幅值大小等多个特征，来处理序列数据。重要的是这种网络的输入序列可以是任意长度的。
举一个简单的例子：数字时间序列，具体任务是根据先前值来预测后续值。在每个时间步中，循环神经网络的输入是当前值，以及一个表征该网络在之前的时间步中已经获得信息的状态向量。该状态向量是RNN网络的编码记忆单元，在训练网络之前初始化为零向量。

关于RNN的介绍，强烈推荐《A Critical Review of Recurrent Neural Networks for Sequence Learning》，这篇出自加州大学圣地亚哥分校研究人员的文章介绍了几乎所有最新最全面的循环神经网络。（地址：arxiv.org）

2.构建网络

首先构建一个简单的回声状态网络（Echo-RNN）。这种网络能记忆输入数据信息，在若干时间步后将其回传。我们首先定义一些参数：