GRU 神经网络

 

RNN的连续的连乘 会导致梯度消失的重大问题，

1 LSTM： 解决梯度消失或者梯度爆炸

遗忘门：

候选memory cell：

更新门：

更新后的memory cell：

输出门：

 

2 GRU是CNN的变种，全称门控循环单元，就是在RNN 上多加几个门，目的是和LSTM 基本一样，为了加强RNN 神经网络的记忆能力。