循环神经网络 RNN GRU LSTM

循环神经网络RNN

GRU(Gated Recurrent Unit)

门控循环单元（GRU）的出现主要是为了解决循环神经网络训练过程中出现的梯度消失和梯度爆炸问题。

GRU中采用记忆细胞c的值替换了激活值a。本质来说，c就是新的a值。但c值的循环规则和a不同。

对于基本的RNN来说，其值的更新规则如下图所示：

但对于GRU来说，其更新规则则不同：

从数学的角度来看，GRU给网络增加了两个可以学习的单元${\Gamma }_u$以及${\Gamma }_r$，其中${\Gamma }_r$用于表征待选值$\widetilde{c_t}$与上一个时刻记忆值之间的关联程度，而${\Gamma }_u$则用来控制实际输出是越接近待选值还是上一个时刻的记忆值。${\Gamma }_u$被理解成“更新门”，${\Gamma }_r$被称作“相关门”。

LSTM(Long-short Time Memory)

LSTM与GRU最大的不同在于LSTM没用用c取代a，而是两者同时存在。更新规则参考上图。更新门、遗忘门、输出。

Reference

吴恩达深度学习