【机器学习百问】14.过拟合？欠拟合？如何处理？

问题难度（5分制）：1；
过拟合定义：
训练集上的效果好于测试集。
一般可能是训练数据过少或网络过于复杂，导致网络在训练集上的拟合结果非常好，但由于其数据少或算法简单，无法扩展到新的数据中，这种现象为过拟合。

解决过拟合:
1.从数据下手：增加训练数据；
2.从算法下手：降低模型复杂度（减少神经元个数，网络层数，决策树中的深度，分支等），通过给模型参数加上一定的约束来降低模型复杂度。
3.从训练方式下手：使用集成学习将多个模型集成起来，避免单一模型太过简单。

欠拟合定义：
欠拟合就是不管在哪里结果都不好。
算法过于简单或数据特征不足都有可能引起，导致算法无法有效捕捉到完整的数据特征。在训练集和测试集上都表现的很差劲。
解决欠拟合:
1.从数据下手：为数据添加新特征，提高数据维度和内容，提高特征于样本标签的相关性。
2.从算法下手：去掉模型中的约束提高模型复杂度（增加神经元的数据，网络的层数，决策树中的深度，分支数目等）。