使用 Sklearn 构建随机森林的最简单代码及调参说明

使用 Sklearn 构建随机森林的最简单代码及调参说明

#废话不多说，直接上代码！

#重要的部分有注释，所有的参数都有参数说明，可以直接运行，适合小白。

#未经许可，禁止转载。

#转自本人知乎https://zhuanlan.zhihu.com/p/279729932

#1、最简代码

from sklearn.ensemble import RandomForestClassifier

from sklearn.model_selection import train_test_split

from sklearn.datasets import load_wine

#使用sklearn自带的红酒数据集

wine = load_wine() #数据集加载

Xtrain, Xtest, Ytrain, Ytest = train_test_split(wine.data,wine.target,test_size=0.3) #划分训练集和验证集

#构建模型

rfc = RandomForestClassifier(n_estimators=20) #森林中树木的数量，即基评估器的数量先随便给个20，需要进一步调参来确定最优值

#打分

score_r1 = rfc.score(Xtrain,Ytrain)

score_r2 = rfc.score(Xtest,Ytest)

 

-----------------------------------------------------------------------------------------------

#2、选学：调整参数

#在随机森林中最重要的参数就是n_estimators、max_depth

#分别代表森林中树的数量、树的最大深度

其他的参数对随机森林的影响不大，一般不会特意去调。

#2.1 调整参数n_estimators

scores = []

for i in range(0,200,10):

rfc = RandomForestClassifier(n_estimators=i+1)

score1 = cross_val_score(rfc,data.data,data.target,cv=10).mean() #交叉验证得平均分

scores .append(score1)

print(max(scores ),(scores .index(max(scores))*10)+1) #打印最高分数，及其索引

plt.figure(figsize=[20,5])

plt.plot(range(1,201,10),scores)

plt.show()

#结果：

#可以得到最优值在71左右

#在71左右，进一步细化学习曲线

scores = []

for i in range(65,75):

rfc = RandomForestClassifier(n_estimators=i+1)

score1 = cross_val_score(rfc,data.data,data.target,cv=10).mean() #交叉验证得平均分

scores .append(score1)

print(max(scores ),(scores .index(max(scores))*10)+1) #打印最高分数，及其索引

plt.figure(figsize=[20,5])

plt.plot(range(1,201,10),scores)

plt.show()

#结果：

#得到最优：n_estimators=73

 

#2.2 调整参数max_depth

#网格搜索：按照参数对模型整体准确率的影响程度进行调参

param_grid = {'max_depth':np.arange(1, 20, 1)}

rfc = RandomForestClassifier(n_estimators=73)

#网格搜索模型，参数1：随机森林模型；参数2：待调整的参数；参数3：交叉验证的次数

GS1 = GridSearchCV(rfc,param_grid,cv=10)

GS1.fit(data.data,data.target)

print("最佳参数:")

print(GS1.best_params_)

print("参数得分:")

print(GS1.best_score_)

#结果：