本文探讨了在sklearn中决策树模型的random_state和splitter参数如何影响模型稳定性和防止过拟合。random_state用于控制分支过程中的随机模式，设置为整数可确保模型重复性；splitter参数决定分支时是否优先考虑重要特征，'best'倾向于选择更重要特征，'random'则增加随机性，可能导致更深更复杂的树结构，有助于减少过拟合风险。
在上一篇博文《决策树的sklearn实现》中，我们建立了一棵完整的决策树，但是如果在建立模型时不设置random_state的数值，score会在某个值附近波动，引起画出来的每一棵树都不一样。它为什么会不稳定呢？如果使用其他数据集，它还会不稳定吗？
无论决策树模型如何进化，在分支上的本质都还是追求某个不纯度相关指标的优化，而不纯度是基于结点计算的，也就是说，决策树在建树时，是靠优化节点来追求一棵优化的树，但最优的结点能够保证最优的树吗？集成算法被用来解决这一问题：sklearn表示，既然一棵树不能保证最优，那就建更多的不同的树，然后从中取最好的。怎样从一组数据集中建不同的树？在每次分支时，不用全部特征，而是随机选取一部分特征，从中选取不纯度相关指标最优的作为分支用的结点。这样，每次生成的树也就不同了。
clf = tree.DecisionTreeClassifier(criterion="entropy",random_state=100)
clf
最低0.47元/天 解锁文章
扫一扫
276
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
