本文主要探讨自然语言处理中的循环神经网络（RNN）、长短期记忆网络（LSTM）和门控循环单元（GRU）。内容涵盖了LSTM与GRU的区别，指出GRU并非不做任何控制，而是通过更新门来决定保留或放弃隐状态的部分。同时，解释了反向传播通过时间（BPTT）的工作原理，说明其损失函数为各时刻损失之和，并非一阶导数。文章适合NLP初学者和深度学习爱好者复习使用。
这系列的题目来源于周晓飞老师期末发的题库，自留做复习用的🎉 🎉 🎉 加油加油！
知识点可以参考博主的这篇博客：【一起入门NLP】中科院自然语言处理第*课-循环神经网络RNN（BPTT+LSTM+GRU）
单选题62
- A，B：LSTM通过output gate对memory进行控制，而GRU的memory是直接输出，AB描述反了，均错误。（而且，GRU没有输出门，只有重置门）
- C，D：GRU将LSTM的遗忘门和遗忘门合并为更新门，因此GRU的参数更少，更新门会决定隐状态保留或放弃哪些部分，因此并不是不做任何控制，C错误，D正确。
单选题79
- AB：BPTT中定义的损失函数是每个时刻的损失之和，因此是叠加，A错误B正确。
- C：BPTT求的也是一阶导，C错误
- D：显然是不对的，BP 算法用于DNN的参数训练，BPTT用于RNN
单选题80
- A：梯度裁剪是解决梯度爆炸问题的一个方法，思想是调节梯度，让它保持一个比较小的状态。A正确。
- CD：这是解决模型过拟合的两个方法，与梯度爆炸无关，CD均错误
扫一扫
3114
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
