基于sklearn的随机森林实现

sklearn随机森林

本文基于菜菜的sklearn教学

随机森林分类器

概述

随机森林是一种集成算法，即运用大量不同的算法，选出最优的一个，主要是基于决策树。

引入包

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_wine

导入数据

wine = load_wine()
print(wine.data.shape)
print(wine.target)

划分测试集和训练集

from sklearn.model_selection import train_test_split
Xtrain,Xtest,Ytrain,Ytest = train_test_split(wine.data,wine.target,test_size = 0.3)

核心代码

rfc = RandomForestClassifier(random_state = 0)
rfc = rfc.fit(Xtrain,Ytrain)
score_r = rfc.score(Xtest,Ytest)

print("Random Forest:{}".format(score_r))

和决策树几乎一模一样，核心代码似乎也就这么几行：

• 建立分类器rfc
• 带入数据进行训练
• 利用测试集给出评分

特征重要性

可以输出模型中每一个特征的重要性程度

print(rfc.feature_importances_)

下面是这么多次交叉验证之后所得到的准确率变化

预测

Xtest可以换成所需要预测的数据，返回对应的标签

rfc.predict(Xtest)

交叉验证

交叉验证就是不断的重新划分训练集和数据集进行验证，注意交叉验证的时候是不用fit()的

from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
rfc = RandomForestClassifier(n_estimators = 25)
rfc_s = cross_val_score(rfc,wine.data,wine.target,cv = 10)

plt.plot(range(1,11), rfc_s,label = "RandomForest")
plt.legend()
plt.show()

下面给出十次交叉验证的得分

参数讲解

随机森林中的参数大多数与决策树中的参数差不多，最重要的是：

• n_estimator 森林中树中的个数，显然个数越多结果越准确。
  其他的建议看这位大佬的

随机森林回归

分类和回归的区别其实就是一个变量是分类变量，一个变量是连续变量。对于sklearn来说几乎没什么区别

from sklearn.datasets import load_boston
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestRegressor

boston = load_boston()
reg = RandomForestRegressor(n_estimators = 100,random_state = 0)
cross_val_score(reg, boston.data, boston.target, cv = 10 ,scoring = "neg_mean_squared_error")

其他都和分类树一样

案例分析

随机森林在乳腺癌数据上的调参

基础代码

下面调用了乳腺癌患者的例子，给出10次交叉验证的结果

from sklearn.datasets import load_breast_cancer
from sklearn.impute import SimpleImputer
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

data = load_breast_cancer()

rfc = RandomForestClassifier(n_estimators=100,random_state=90)
score_pre = cross_val_score(rfc,data.data,data.target,cv=10).mean()
print(score_pre)

最后结果为0.9648809523809524，还是比较准确的

调参

但是我还是不满意，于是我使用了200次循环，每次循环取十次交叉验证的平均值，并逐次增加树的数量

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
data = load_breast_cancer()

scorel = []
for i in range(0,200,10):
    rfc = RandomForestClassifier(n_estimators=i+1,n_jobs=-1,random_state=90)
    score = cross_val_score(rfc,data.data,data.target,cv=10).mean()
    scorel.append(score)
print(max(scorel),(scorel.index(max(scorel))*10)+1)
plt.figure(figsize=[20,5])
plt.plot(range(1,201,10),scorel)
plt.show()

结果有

结语

菜菜后面还写了一堆调参的，但对我一个只打一打美赛的菜鸡好像其实用不到这么多，感兴趣的自己去b站搜菜菜的sklearn吧