李沐第十五课--GRU、LSTM等

前情回要：上节课可以得到用梯度裁剪可以解决梯度爆炸问题，那么对于梯度消失问题，我们可以使用GRU和LSTM来解决。

---

GRU：
GRU中有两个比较重要的门，一个叫重置门(Rt【reset】)，一个叫更新门（Zt【update】），
1，下图中第一个公式是重置门的计算方式，
2， 第二个公式是更新门的计算方式，
3，第三行是暂时的、候选的Ht的计算方式【注意第三个公式中的圆圈中有个点的符号，代表着按位相乘，所以如果我们的Rt取值为0~1之间，可以决定从Ht-1忘记多少东西】
4，第四行是计算下个隐层状态的最终计算方式，可以看到这里引入了更新门Zt，如果Zt=1，那么Ht将完全等于Ht-1，也就是意味着将上个时刻的所有信息继承下来。

---

LSTM：
1, LSTM有三个门，输入门(It【input gate】)、遗忘门(Ft【Forget gate】)、输出门（Ot【output gate】）
2,第四行是记忆细胞（