《菜菜的机器学习sklearn课堂》sklearn入门与决策树

4、建立模型（只有一个参数criterion）

clf = tree.DecisionTreeClassifier(criterion=“entropy”) #建模

clf = clf.fit(Xtrain, Ytrain) #训练模型

score = clf.score(Xtest, Ytest) #返回预测的准确度

score

5、画出一棵树吧

feature_name = [‘酒精’,‘苹果酸’,‘灰’,‘灰的碱性’,‘镁’,‘总酚’,‘类黄酮’,‘非黄烷类酚类’,‘花青素’,‘颜色强度’,‘色调’,‘od280/od315稀释葡萄酒’,‘脯氨酸’]

import graphviz

dot_data = tree.export_graphviz(clf, #模型

feature_names = feature_name, #特征名

class_names = [‘琴酒’, ‘雪莉’, ‘贝尔摩德’], #分类名

filled = True, #填充颜色表示不同的分类

rounded = True #圆角显示

)

graph = graphviz.Source(dot_data)

graph

6、探索决策树

clf.feature_importances_ #特征重要性

[*zip(feature_name, clf.feature_importances_)]

[(‘酒精’, 0.0),

(‘苹果酸’, 0.0),

(‘灰’, 0.0),

(‘灰的碱性’, 0.0),

(‘镁’, 0.05809139359761723),

(‘总酚’, 0.0),

(‘类黄酮’, 0.42809846427963527),

(‘非黄烷类酚类’, 0.0),

(‘花青素’, 0.0),

(‘颜色强度’, 0.18211551456095545),

(‘色调’, 0.0),

(‘od280/od315稀释葡萄酒’, 0.0),

(‘脯氨酸’, 0.331694627561792)]

我们已经在只了解一个参数的情况下，建立了一棵完整的决策树。但是回到步骤4建立模型，score会在某个值附近波动，引起步骤5中画出来的每一棵树都不一样。它为什么会不稳定呢？如果使用其他数据集，它还会不稳定吗？

我们之前提到过，无论决策树模型如何进化，在分枝上的本质都还是追求某个不纯度相关的指标的优化，而正如我们提到的，不纯度是基于节点来计算的，也就是说，决策树在建树时，是靠优化节点来追求一棵优化的树，但最优的节点能够保证最优的树吗？集成算法被用来解决这个问题：sklearn表示，既然一棵树不能保证最优，那就建更多的不同的树，然后从中取最好的。怎样从一组数据集中建不同的树？在每次分枝时，不从使用全部特征，而是随机选取一部分特征，从中选取不纯度相关指标最优的作为分枝用的节点。这样，每次生成的树也就不同了。

clf = tree.DecisionTreeClassifier(criterion=“entropy”,random_state=30)

clf = clf.fit(Xtrain, Ytrain)

score = clf.score(Xtest, Ytest) #返回预测的准确度

score

random_state、splitter

random_state 用来设置分枝中的随机模式的参数，默认None，在高维度时随机性会表现更明显，低维度的数据（比如鸢尾花数据集），随机性几乎不会显现。输入任意整数，会一直长出同一棵树，让模型稳定下来。

splitter 也是用来控制决策树中的随机选项的，有两种输入值，

• 输入best，决策树在分枝时虽然随机，但是还是会优先选择更重要的特征进行分枝（重要性可以通过属性feature_importances_查看）

• 输入random，决策树在分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。这也是防止过拟合的一种方式。

当你预测到你的模型会过拟合，用这两个参数来帮助你降低树建成之后过拟合的可能性。当然，树一旦建成，我们依然是使用剪枝参数来防止过拟合。

clf = tree.DecisionTreeClassifier(criterion=“entropy”

,random_state=30

,splitter=“random”

)

clf = clf.fit(Xtrain, Ytrain) #训练模型

score = clf.score(Xtest, Ytest) #返回预测的准确度

score

import graphviz

dot_data = tree.export_graphviz(clf

,feature_names= feature_name

,class_names=[“琴酒”,“雪莉”,“贝尔摩德”]

,filled=True

,rounded=True

)

graph = graphviz.Source(dot_data)

graph

剪枝参数

在不加限制的情况下，一棵决策树会生长到衡量不纯度的指标最优，或者没有更多的特征可用为止。这样的决策树往往会过拟合，这就是说，它会在训练集上表现很好，在测试集上却表现糟糕。我们收集的样本数据不可能和整体的状况完全一致，因此当一棵决策树对训练数据有了过于优秀的解释性，它找出的规则必然包含了训练样本中的噪声，并使它对未知数据的拟合程度不足。

#我们的树对训练集的拟合程度如何？

score_train = clf.score(Xtrain, Ytrain)

score_train

为了让决策树有更好的泛化性，我们要对决策树进行剪枝。剪枝策略对决策树的影响巨大，正确的剪枝策略是优化决策树算法的核心。sklearn为我们提供了不同的剪枝策略：

max_depth

• 限制树的最大深度，超过设定深度的树枝全部剪掉

• 这是用得最广泛的剪枝参数，在高维度低样本量时非常有效。决策树多生长一层，对样本量的需求会增加一倍，所以限制树深度能够有效地限制过拟合。在集成算法中也非常实用。实际使用时，建议从=3开始尝试，看看拟合的效果再决定是否增加设定深度。

min_samples_leaf & min_samples_split

• min_samples_leaf 限定一个节点在分枝后的每个子节点都必须包含至少min_samples_leaf个训练样本，否则分枝就不会发生，或者分枝会朝着满足每个子节点都包含min_samples_leaf个样本的方向去发生

一般搭配 max_depth 使用，在回归树中有神奇的效果，可以让模型变得更加平滑。这个参数的数量设置得太小会引起过拟合，设置得太大就会阻止模型学习数据。一般来说，建议从=5开始使用。如果叶节点中含有的样本量变化很大，建议输入浮点数作为样本量的百分比来使用。同时，这个参数可以保证每个叶子的最小尺寸，可以在回归问题中避免低方差，过拟合的叶子节点出现。对于类别不多的分类问题，=1通常就是最佳选择。

• min_samples_split 限定一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分枝，否则分枝就不会发生。

clf = tree.DecisionTreeClassifier(criterion=“entropy”

,random_state=30