决策树中的过拟合问题

1.首先了解一下什么是过拟合，什么是欠拟合？

过拟合：根本原因是特征维度过多，模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。 过度的拟合了训练数据，而没有考虑到泛化能力。
解决方法：（1）减少特征维度；（2）正则化，降低参数值。

欠拟合：根本原因是特征维度过少，模型过于简单，导致拟合的函数无法满足训练集，误差较大；
解决方法：（1）增加特征维度，增加训练数据；

 

2.决策树中的过拟合现象

（百度找的图）

当决策树的深度特别深特别深以至于叶子节点中的对象只剩下一个或者很少，导致决策树的模型过于复杂，容易造成过拟合问题，泛化能力下降

 

（深度小造成欠拟合，深度大造成过拟合） 

 

所以我们解决方法之一就是找到一个点（深度）让决策树停止分裂 ，不要让树长过长，也不要让他分的过于细致，问题来了，这个深度d如何去找？

 当数据超级大的时候，训练集也可以调整到90%

其他还没学会，等我学会了再来更~~~