决策树过拟合现象_决策树(2)：特征选择和缺失值处理

1. 特征选择

机器学习中，如果在模型在训练集中表现良好而在测试集中表现很糟糕的现象，称为模型的过拟合。在决策树模型中，仍然需要通过某些条件控制模型的过拟合。

在前面1小节中，参考决策树(1): 总览。在决策树的左枝，在具有良好血液循环、不具有动脉闭锁患者中(13/102)，此时的Gini不纯度系数为0.20；如果基于患者是否具有胸痛继续分类，Gini不纯度系数将变为0.29，Gini系数将增大。不使用胸痛数据的分类效果更好，故不考虑其是否具有胸痛而进一步分类，从而将其作为叶节点。

假设基于chest pain 的分类在所有情况下均不能减小Gini系数，那么在最终构建的决策树中将仅含有变量Good Blood Circulation 和Blocked arteries。这样的过程称为自动特征选择。

在创建决策树时，为了避免出现过拟合的现象，往往需要设置阈值来进行特征选择