深度学习-------过拟合和欠拟合，梯度消失和梯度爆炸，优化器

1. 过拟合和欠拟合

欠拟合：是指模型没有能够很好的表现数据的结构，而出现的拟合度不高的情况。
过拟合：是指模型过分的拟合训练样本，但对测试样本预测准确率不高的情况，也就是说模型泛化能力很差。

欠拟合
数据特征少 ---------> 升维（特征扩展）（马赛克，曝光度，增加噪声）
数据量少 ---------> 获取更多的数据
模型过于简单 --------> 迁移学习，使用更复杂的模型
过拟合
数据特征多-------->降维（PCA，SVD）,筛选特征，正则化 ,droupout
特征数据范围差距大---------->数据缩放（归一化，标准化）
模型过于复杂 ------------->梯度爆炸，迁移学习 ，梯度剪切：梯度阈值（在保证模型准确率下降不多的情况下，大幅度减少模型参数），正则化：L1

2. 梯度消失和梯度爆炸

梯度消失：经过神经网络计算后，梯度衰减为0的情况
梯度爆炸：经过神经网络计算后，梯度变得无限大，超过了运算范围

梯度消失与梯度爆炸其实是一种情况，两种情况下梯度消失经常出现：
一是在深层网络中，采用了不合适的损失函数，梯度缩减为0&#