《动手学深度学习》 RNN & GRU & LSTM with gluon

RNN

循环神经网络，时间步t的隐藏变量的计算由当前时间步的输入和上一个时间步的隐藏状态共同决定。

GRU

门控循环单元，引入了重置门和更新门的概念。
重置门输出R与上一时间步的隐藏状态按元素乘法，产生候选隐藏状态，决定是否drop上一时间步的隐藏状态。
更新们对上一步的隐藏状态以及候选隐藏状态做加权平均，产生当前时间步的隐藏状态。

LSTM

长短期记忆，引入输入门，遗忘门，输出门。
记住有6个公式。
三个门的输出I，F，O均由当前时间步的输入以及上一时间步的隐藏状态通过加权偏置并sigmoid后得到。
候选记忆细胞由当前时间步的输入以及上一时间步的隐藏状态通过加权偏置并tanh后得到。
记忆细胞由F与上一时间步的记忆细胞按元素相乘加上I与候选记忆细胞按元素相乘，F趋近于1而I趋近于0代表时间序列上有较长的依赖关系。
当前时间步的隐藏状态由O与tanh（记忆细胞）按元素相乘得到，可以控制当前是直接使用记忆细胞里的信息还是留在之后再使用。

代码

import d2lzh as d2l
import math
from mxnet import autograd, gluon, init, nd
from mxnet.gluon import loss as gloss, nn, rnn

(corpus_indices, char_to_idx