Day3

一、过拟合、欠拟合及其解决方案

1.过拟合
（1）定义：模型的训练误差远小于它在测试数据集上的误差。
（2）解决方案：权重衰减、丢弃法、增加训练数据集
2.欠拟合
（1）定义：模型无法得到较低的训练误差。
（2）解决方案：提高模型复杂度

二、梯度消失、梯度爆炸

深度模型有关数值稳定性的典型问题是消失与爆炸。

1.产生原因：当神经网络层数较多时，模型数值稳定性会变差。
2.解决方法：
（1）用ReLu函数代替Sigmoid函数。
（2）在RNN中使用LSTM结构也可以缓解梯度消失。

三、循环神经网络进阶

1、GRU模型

门控循环神经网络可以捕捉时间序列中时间步距离较⼤的依赖关系。
重置⻔有助于捕捉时间序列⾥短期的依赖关系。
更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。

2、LSTM模型
遗忘门:控制上一时间步的记忆细胞 输入门:控制当前时间步的输入
输出门:控制从记忆细胞到隐藏状态
记忆细胞：⼀种特殊的隐藏状态的信息的流动

3、深度神经网络

4、双向循环神经网络