qq_51355132的博客

原创 GRU门控循环单元自学笔记（动手学深度学习）

在上一章节中，通过对RNN模型计算图进行反向传播链式求导推理，可以看出普通RNN模型可能存在梯度爆炸或梯度消失的问题（因为存在矩阵的次幂项）。因此在本章中提出了若干模型可以缓解梯度消失或梯度爆炸，并且这些模型可以做到对不同时间步设置不同权重（为重要时间节点赋予较大权重并更新隐状态，为不重要的时间节点赋予较小权重并且不更新隐状态）。相反，当Zt接近0时，新的隐状态Ht就会接近候选隐状态H~t。这一步确定新的隐状态Ht在多大程度上来自旧的状态Ht−1和新的候选状态H~t。1.1重置门和更新门。...