《菜菜的机器学习sklearn课堂》随机森林应用泛化误差调参实例

| min_samples_split | 一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分枝，否则分枝就不会发生 |

| max_features | max_features限制分枝时考虑的特征个数，超过限制个数的特征都会被舍弃，默认值为总特征个数开平方取整 |

| min_impurity_decrease | 限制信息增益的大小，信息增益小于设定数值的分枝不会发生 |

单个决策树的准确率越高，随机森林的准确率也会越高，因为装袋法是依赖于平均值或者少数服从多数原则来决定集成的结果的。

n_estimators：基评估器的数量

n_estimators 是森林中树木的数量，即基评估器的数量。

• 一般来说，n_estimators越大，模型的效果往往越好。

• 但是任何模型都有决策边界，n_estimators达到一定的程度之后，随机森林的精确性往往不再上升或开始波动；并且n_estimators越大，需要的计算量和内存也越大，训练的时间也会越来越长。对于这个参数，我们是渴望在训练难度和模型效果之间取得平衡。

n_estimators的默认值在现有版本的sklearn中是10，但是在即将更新的0.22版本中，这个默认值会被修正为100。这个修正显示出了使用者的调参倾向——要更大的n_estimators。

【建立一片森林】

树模型的优点是简单易懂，可视化之后的树人人都能够看懂，可惜随机森林无法被可视化。所以为了更加直观地体会随机森林的效果，我们进行一个随机森林和单个决策树效益的对比。我们依然使用红酒数据集。

1、导入我们需要的包

%matplotlib inline

from sklearn.tree import DecisionTreeClassifier

from sklearn.ensemble import RandomForestClassifier

from sklearn.datasets import load_wine

2. 导入需要的数据集

wine = load_wine()

wine.data.shape #178行,13个标签

wine.target

3、复习:sklearn建模的基本流程

from sklearn.model_selection import train_test_split

#划分30%的数据作为测试集

Xtrain, Xtest, Ytrain, Ytest = train_test_split(wine.data, wine.target, test_size=0.3)

clf = DecisionTreeClassifier(random_state=0) #建立模型: 决策树

rfc = RandomForestClassifier(random_state=0) #建立模型: 随机森林

clf = clf.fit(Xtrain, Ytrain) # 训练模型: 决策树

rfc = rfc.fit(Xtrain, Ytrain) # 训练模型: 随即森林

score_c = clf.score(Xtest, Ytest) #返回预测的准确度: 随机森林

score_r = rfc.score(Xtest, Ytest) #返回预测的准确度: 决策树

打印出准确度

print(“single Tree:{}”.format(score_c),

“Random Forest:{}”.format(score_r))

single Tree:0.9444444444444444 Random Forest:0.9814814814814815

可见随机森林默认就比决策树准确度要高。

4、画出随机森林和决策树在一组交叉验证下的效果对比

交叉验证

将数据集划分为n份，依次取每一份做测试集，每n-1份做训练集，多次训练模型以观测模型稳定性的方法

from sklearn.model_selection import cross_val_score

import matplotlib.pyplot as plt

随机森林

rfc = RandomForestClassifier(n_estimators=25)

rfc_s = cross_val_score(rfc, wine.data, wine.target, cv=10)

决策树

clf = DecisionTreeClassifier()

clf_s = cross_val_score(clf, wine.data, wine.target, cv=10)

plt.plot(range(1,11), rfc_s, label = “RandomForest”)

plt.plot(range(1,11), clf_s, label = “Decision Tree”)

plt.legend()

plt.show()

另一种更加简单有趣的写法：

label = “RandomForest”

for model in [RandomForestClassifier(n_estimators=25),DecisionTreeClassifier()]:

score = cross_val_score(model,wine.data, wine.target, cv=10)

print(“{}:”.format(label)),print(score.mean())

plt.plot(range(1,11),score,label = label)

plt.legend()

label = “DecisionTree”

5、画出随机森林和决策树在十组交叉验证下的效果对比

rfc_l = []

clf_l = []

for i in range(10):

rfc = Rando