本文探讨了决策树模型中的过拟合现象，强调特征选择的重要性。通过设置阈值来避免过拟合，仅选择能有效减少Gini系数的特征。同时，介绍了处理缺失值的两种策略：删除和补全。删除处理直接移除含有缺失值的样本，而补全处理则可以采用‘yes’或‘no’替换、相关变量推测以及数值变量的均值或中位数填充。
1. 特征选择
机器学习中，如果在模型在训练集中表现良好而在测试集中表现很糟糕的现象，称为模型的过拟合。在决策树模型中，仍然需要通过某些条件控制模型的过拟合。
在前面1小节中，参考决策树(1): 总览。在决策树的左枝，在具有良好血液循环、不具有动脉闭锁患者中(13/102)，此时的Gini不纯度系数为0.20；如果基于患者是否具有胸痛继续分类，Gini不纯度系数将变为0.29，Gini系数将增大。不使用胸痛数据的分类效果更好，故不考虑其是否具有胸痛而进一步分类，从而将其作为叶节点。
假设基于chest pain 的分类在所有情况下均不能减小Gini系数，那么在最终构建的决策树中将仅含有变量Good Blood Circulation 和Blocked arteries。这样的过程称为自动特征选择。
在创建决策树时，为了避免出现过拟合的现象，往往需要设置阈值来进行特征选择
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
