前情回要:上节课可以得到用梯度裁剪可以解决梯度爆炸问题,那么对于梯度消失问题,我们可以使用GRU和LSTM来解决。
GRU:
GRU中有两个比较重要的门,一个叫重置门(Rt【reset】),一个叫更新门(Zt【update】),
1,下图中第一个公式是重置门的计算方式,
2, 第二个公式是更新门的计算方式,
3,第三行是暂时的、候选的Ht的计算方式【注意第三个公式中的圆圈中有个点的符号,代表着按位相乘,所以如果我们的Rt取值为0~1之间,可以决定从Ht-1忘记多少东西】
4,第四行是计算下个隐层状态的最终计算方式,可以看到这里引入了更新门Zt,如果Zt=1,那么Ht将完全等于Ht-1,也就是意味着将上个时刻的所有信息继承下来。
LSTM:
1, LSTM有三个门,输入门(It【input gate】)、遗忘门(Ft【Forget gate】)、输出门(Ot【output gate】)
2,第四行是记忆细胞(