【机器学习与深度学习理论要点】9.欠拟合与过拟合概念，及如何避免？

1）什么是欠拟合、过拟合？

欠拟合指的是模型在训练和预测时表现都不好的情况。

欠拟合：

1. 模型复杂度不够
2. 特征太少
3. 模型层次太低

过拟合是指模型对于训练数据拟合呈过当的情况，反映到评估指标上，就是模型在训练集上表现很好，但在测试集和新数据上表现较差。

过拟合：

1. 训练数量小
2. 模型复杂度太高
3. 模型层地太深
4. 特征太多
5. 参数值太大

2）如何避免欠拟合？

• 添加新特征。当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。
• 增加模型复杂度。简单模型的学习能力较差，通过增加模型的复杂度可以使模型拥有更强的拟合能力。例如，在线性模型中添加高次项，在神经网络模型中增加网络层数或神经元个数等。
• 减小正则化系数。正则化是用来防止过拟合的，但当模型出现欠拟合现象时，则需要有针对性地减小正则化系数。

3）如何避免过拟合？

• 扩大样本数据。使用更多的训练数据是解决过拟合问题最有效的手段，因为更多的样本能够让模型学习到更多更有效的特征，减小噪声的影响。
• 降低模型复杂度。在数据较少时，模型过于复杂是产生过拟合的主要因素，适当较低模型复杂度可以避免模型拟合过多的采样噪声。例如，在神经网络模型中减少网络层数、神将元个数等；在决策树模型中降低输得深度、进行剪枝等。
• 正则化方法。给模型的参数加上一定的正则约束，比如将权值的大小加入到损失函数中。
• 集成学习方法。集成学习是把多个模型集成在一起，来降低单一模型的过拟合风险。
• 树结构中，对数进行枝剪。
• 减少训练迭代次数。
• 神经网络中，加入dropout操作层。
• 主动加入噪声数据样本。