动手学深度学习笔记二

Task03 错题

一.过拟合、欠拟合及解决方法

二.梯度消失、梯度爆炸

可以理解为在夏季的物品推荐系统与冬季相比，时间或者说季节发生了变化，导致了夏季推荐圣诞礼物的不合理的现象，这个现象是由于协变量时间发生了变化造成的。

三.循环神经网络进阶

实现深层循环神经网络需要修改的参数是？num_layers
3.
GRU有重置门和更新门，没有遗忘门。重置门有助于捕捉时间序列里短期的依赖关系，更新门有助于捕捉时间序列⾥长期的依赖关系。参考视频1分20秒起关于GRU的原理讲解。
4.
每个循环单元中的记忆细胞和循环单元的值为LSTM模型中的隐状态，而非参数，因此不需要初始化。
5.
LSTM和GRU能一定程度缓解梯度消失与梯度爆炸的问题。
RNN层数越深效果未必越好，层数的加深会导致模型的收敛变得困难。

Task04

一.机器翻译及相关技术

二.注意力机制与Seq2seq模型

Task05 错题

一.卷积神经网络基础

二.LeNet

三.卷积神经网络进阶