循环神经网络（RNN）之网络结构解析

一、RNN的前向传播结构

t时刻输入： $X_t$ 、$S_{t-1}$
t时刻输出： $h_t$
t时刻中间状态： $S_t$

上图是一个RNN神经网络的时序展开模型，中间t时刻的网络模型揭示了RNN的结构。可以看到，原始的RNN网络的内部结构非常简单。神经元A在t时刻的状态仅仅是（t-1）时刻神经元状态$S_{t-1}$，与（t）时刻网络输入$X_t$的双曲正切函数的值；这个值不仅仅作为该时刻网络的输出，也作为该时刻网络的状态被传入到下一个时刻的网络状态中，这个过程叫做RNN的正向传播（forward propagation）

传播中的数学公式（含参数）

上图表示为RNN网络的完整的拓扑结构，以及RNN网络中相应的参数情况。我们通过对t时刻网络的行为进行数学的推导。在如下的内容中，会出现线性状态和激活状态两种表达，线性状态将用$\ast$号进行标注。
t时刻神经元状态 ：
$$S_t=\varphi (S{}_t^{\ast })$$
$$S{}_t^{\ast }=(U{X}_t+W{S}_{t-1})$$
t时刻的输出状态：
$$O_t=\psi (O{}_t^{\ast })$$
$$O{}_t^{\ast }=V{S}_t$$
我们该如何得到RNN模型中的U、V、W三个全局共享参数的具体值呢？在之后的RNN逆向传播中可以得出具体的情况。

二、BPTT(随时间变化的反向传播算法)

1、 损失函数的选取，在RNN中一般选取交叉熵（Cross Entropy）,表达式如下：
$$Loss=-\sum _{i=0}^n{y}_{i}ln{y}_i^{\ast }$$
上式为交叉熵的标量的形式，$y_i$是真实的标签纸，$y_i^{\ast }$是模型给出的预测值，在多维输出值的时，则可以通过累加得出n维损失值。交叉熵在应用于RNN需进行微调：首先，RNN的输出是向量的形式，没有必要将所有的维度进行累加一起，直接把损失值用向量进行表达即可；其次，由于RNN模型是序列问题，因此其模型损失不能只是一个时刻的损失，应该包含全部N个时刻的损失。
因此RNN模型在t时刻的损失函数如下：
$${Loss}_t=-[y_{t}ln(O_t)+(y_t-1)ln(1-O_t)]$$
全部N个时刻的损失函数（全局损失）表达为如下形式：
$$Loss=-\sum _{t=1}^{N}Los{s}_t=-\sum _{t=1}^N[y_{t}ln(O_t)+(y_t-1)ln(1-O_t)]$$

2、 softmax函数的求导公式为（下文用$\psi 表示$）
$${\psi }^{\prime }(x)=\psi (x)(1-\psi (x))$$

3、 激活函数的求导公式为（选取tanh(x)作为激活函数）
$$\varphi (x)=tanh(x)$$
$${\varphi }^{\prime }(x)=(1-{\varphi }^2(x))$$

4、 BPTT算法
注： 由于RNN模型与时间序列有关，所以使用Back Propagation Through Time(随时间变化反向传播的算法)，但依旧遵循链式求导法则。在损失函数中，虽然RNN的额全局损失是与N个时刻有关的，但下面的推导仅涉及某个t时刻。
（1）求出t时刻下的损失函数关于$O_t^{\ast }$的微分：
$$\frac{\partial L_t}{\partial O_t^{\ast }}=\frac{\partial L_t}{\partial O_t}\ast \frac{\partial O_t}{\partial O_t^{\ast }}=\frac{\partial L_t}{\partial O_t}\ast \partial O_t^{\ast }$$