【深度学习笔记整理-6.2】循环神经网络：SimpleRNN

在之前的文章中，我们使用全连接神经网络解决了很多的问题，但是，这种解决问题的神经网络是不考虑顺序的，对于渐进式的，有顺序的数据，全连接神经网络往往不如循环神经网络的效果更好。

循环神经网络的最初想法，就是在全连接网络的基础之上，考虑前一层的数据，我们知道，全连接神经网络本质就是一堆非线性函数的叠加，其式子如下

若输入为128维的向量，下一层隐藏层为64维，则U为64*128的矩阵，其中128列与对应的128维相乘，64行中每一行的数值实际上就是128维与下一层第i行相连的权重向量。

循环神经网络最初的想法，就是在这个基础之上，加上上一层经过变换后的向量，即

其中是上一层隐藏层输出的结果,是t时刻的输入，假设输入为32维向量，隐藏层为32维，则我们需要估计(32+1)*32+32*32=2080个参数。实际上这就是keras中SimpleRNN需要估计的参数个数，LSTM为其4倍，GRU为3倍。

RNN本质上也是一个神经网络，传统上，我们经常把横轴作为时间轴，实际上这个时间轴就是为数据有序输入而准备的，其画法如下：

但实际上他就是一个循环利用上一层隐藏层的单个神经网络，其竖直方向是传统意义上的神经网络。

在keras中，若想进行RNN的堆叠，则return_sequence参数必须设为True，这样返回的才是一系列数据，如果后面不想接RNN，而是想对某句由多词组合的句子进行进一步分析，则return_sequence可为False。