RNN网络架构详解

刚接触RNN时，网上看到的最多的RNN的结构是下面这个图：

这个图对于初学者来说，并不太友好，因为隐藏了许多RNN结构内部的细节，其实节点A中包括了许多隐藏节点和计算，内部是一个个全连接层的神经网络。下面我们来看一下标准的全连接层神经网络：

很好理解，每一个节点代表一次计算，（事实上也有很多人把节点作为计算的输出值，把单向箭头作为矩阵计算）。我们再来看一下CNN：

也很好理解，与标准神经网络类似，只是权重运算由相乘变为卷积。
所以RNN的结构应该化成下图这样：

图中共有4个时间步。我们可以看到，其中相对每一个时序t的结构来说，就是标准的神经网络，只不过该神经网络多接受一个输入值a<t-1>，多输出一个a<t>。每个时序t的输入I是输入tensor，隐状态h是隐藏层，输出o与标准神经网络的输出一样。

下面结合一个实例说明。假如我有一条长文本，我们来看一下，一个RNN是如何构建的：
step 1：获得原始文本
step 2：将其人为分割成多个句子
step 3：将各个句子中的字符或单词对应到我们准备的词库中，用在词库中的索引号表示

        sentence1：1 34 45 63 63 63 13 56 24
        sentence2：3 4 73 24 67 23

step 4：将每一个句子填充成相同的长度

        sentence1：2 34 45 63 63 63 13 56 24 0 0 0 0
        sentence2：3 4 73 24 67 23 0 0 0 0 0 0 0

step 5：将句子中的每一个字符或单词转换成嵌入式词向量
sentence1：

$$\begin{pmatrix} 0.232 & 0.124 & 0.768 & … \\ 0.765 & 0.492 & 0.381 &… \\ 0.567 & 0.392 & 0.875 &… \\ … & … & … &… \\ \end{pmatrix}$$
每一列代表一个词向量，维度自定；矩阵的列数固定为timesteps。

step 6：将输入喂给网络，运行网络。每一次运行网络，都会处理一个sentence。
step 7：得到网络输出，根据实际要求，采用sigmoid或softmax进行激活分类。

基本的RNN就是上面这样了。