使用Torch nngraph实现LSTM

什么是RNN

RNN：多层反馈RNN（Recurrent neural Network、循环神经网络）神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。——百度百科

下面我们看看抽象出来的RNN的公式：
$h_t=\theta\phi(h_{t-1})+\theta_xx_t$
$y_t=\theta_y\phi(h_t)$
可以发现每次RNN都要使用上一次中间层的输出$h_t$

传统RNN的缺点—梯度消失问题(Vanishing gradient problem)

我们定义loss function为$E$，那么梯度公式如下：
$\frac{\partial E}{\partial \theta}=\sum_{t=1}^S\frac{\partial E_t}{\partial \theta}$
∂Et∂θ=∑tk=1∂Et∂yt∂yt∂ht∂ht∂hk∂