深度学习（一）基本名词定义及概述-补充

模型结果的经典问题

在评估模型时，经常会出现模型的拟合问题和梯度问题。其中拟合问题可分为欠拟合和过拟合，这是模型泛化能力差的体现。

欠拟合

欠拟合是指模型拟合程度不高，在训练过程中不收敛，模型在训练的过程中和测试的过程中表现差。这个情况通常是模型学习能力较差或者数据复杂程度较高导致的，因此通过增加模型复杂度、增加训练周期或者增加新的特征来解决欠拟合的问题。

过拟合

过拟合是指模型学习时对已知数据预测很好但对新的数据，如测试集中的数据预测较差。这通常是由于模型过于复杂、训练数据样本过于简单或者训练数据中含有大量的噪声导致的，因此通过降低模型的复杂度、减少训练周期或利用正则化手段、添加BN层或Dropout层来解决过拟合的问题。

梯度问题

梯度问题梯度问题可分为梯度消失和梯度爆炸。

梯度消失是指梯度趋近于0而导致权重无法更新的一种现象，通常在深层网络中，或者当神经网络中激活函数选择不恰当时会导致梯度消失问题发生。通过减少网络复杂程度、减少网络层次、选择使用适当的激活函数或者使用合理的初始化手段可以有效解决梯度消失问题。

梯度爆炸是指梯度趋近于无穷而导致权重过大的一种现象，在深层次网络中或者权值初始化值太大时容易导致梯度爆炸问题。通过设置梯度剪切值、采用合适的激活函数或者通过在网络模型中添加BN层的方式可以有效解决梯度爆炸问题。