动手学深度学习 Task3 笔记

过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
2.15-2.19
一、过拟合、欠拟合及其解决方案
1、过拟合问题
模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。
产生过拟合的可能原因
模型复杂度过高
训练数据过少，特别是比模型参数数量（按元素计）更少
解决过拟合的方案
降低模型复杂度
增加训练数据
在计算资源允许的范围之内，我们通常希望训练数据集大一些

2、欠拟合问题
模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）。
解决方案
增加数据
添加特征
增加模型复杂度

二、梯度消失、梯度爆炸
解决方法：
1、随机初始化
2、He初始化
3、Xavier随机初始化

三、循环神经网络进阶
GRU
RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）
⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系
LSTM
长短期记忆long short-term memory :
遗忘门:控制上一时间步的记忆细胞 输入门:控制当前时间步的输入
输出门:控制从记忆细胞到隐藏状态
记忆细胞：⼀种特殊的隐藏状态的信息的流动