TensorFlow构建循环神经网络

前言

前面在《循环神经网络》文章中已经介绍了深度学习的循环神经网络模型及其原理，接下去这篇文章将尝试使用TensorFlow来实现一个循环神经网络，该例子能通过训练给定的语料生成模型并实现对字符的预测。这里选择使用最原始的循环神经网络RNN模型。

语料库的准备

这里就简单用纪伯伦的《On Friendship》作为语料吧。

RNN简要说明

用下面两张图简要说明下，RNN模型有多个时刻的输入，从第一个图中看到输入x、隐层s和输出o都与时刻t有关，可以看到上一时刻的隐含层会影响到当前时刻的输出，这也就使循环神经网络具有记忆功能。

为了更加清晰理解，看第二个图，从神经元来看RNN，输入层有3个神经元，隐含层有4个神经元，输出层有2个神经元，保留当前时刻状态参与下一时刻计算。