scikit-learn机器学习--随机森林

目录

随机森林 RandomForestClassifier参数

实战部分

试验一

试验二：

 n_estimators学习曲线

---

 

ensemble模块

ensemble.AdaBoostClassifier	AdaBoost分类
ensemble.AdaBoostRegressor	Adaboost回归
ensemble.RandomForestClassifier	随机森林分类
ensemble.RandomForestRegressor	随机森林回归
ensemble.BaggingClassifier	装袋分类器
ensemble.BaggingRegressor	装袋回归器
ensemble.GradientBoostingClassifier	梯度提升分类
ensemble.GradientBoostingRegressor	梯度提升回归
。。。
。。。
。。。
。。。
。。。
。。。

 

随机森林 RandomForestClassifier参数

class  sklearn.ensemble.RandomForestClassifier (
n_estimators=’10’,    #生成森林的个数，越大效果越好，当然内存消耗和训练时长增加 
criterion=’gini’,     #特征选择
max_depth=None,       #树的最大深度
min_samples_split=2,  #一个节点分支后至少包含这么多个样本，否则不分支
min_samples_leaf=1,
min_weight_fraction_leaf=0.0,
max_features=’auto’,
max_leaf_nodes=None,
min_impurity_decrease=0.0,
min_impurity_split=None,
bootstrap=True,       #自助采样（有放回的采样），让基分类器尽量不一样 0.632采了  保留了0.368
oob_score=False,      #设置为True，训练完就可以用  oob_score_ 查看袋外数据测试分数
n_jobs=None, 
random_state=None,
verbose=0, 
warm_start=False,
class_weight=None)

 

实战部分

试验一

#导入决策树分类器 和 随机森林分类器 以及自带的红酒数据
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomFore
from sklearn.datasets import load_wine

#导入数据
wine = load_wine()
#分割训练集与测试集
from sklearn.model_selection import train_test_split
Xtrain, Xtest, Ytrain, Ytest = train_test_split(wine.data,wine.target,test_size=0.3)

#实例化树与森林
clf = DecisionTreeClassifier(random_state=0)
rfc = RandomForestClassifier(random_state=0)

#训练树与森林
clf = clf.fit(Xtrain,Ytrain)
rfc = rfc.fit(Xtrain,Ytrain)

#查看准确度
score_c = clf.score(Xtest,Ytest)
score_r = rfc.score(Xtest,Ytest)

print(,score_c,score_r)

 

试验二：

#用交叉验证试验一下

from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt

#实例化并使用交叉验证
rfc = RandomForestClassifier(n_estimators=25)
rfc_s = cross_val_score(rfc,wine.data,wine.target,cv=10)
#实例化并使用交叉验证
clf = DecisionTreeClassifier()
clf_s = cross_val_score(clf,wine.data,wine.target,cv=10)

plt.plot(range(1,11),rfc_s,label = "RandomForest")
plt.plot(range(1,11),clf_s,label = "Decision Tree")
plt.legend()
plt.show()


"""
rfc_l = []
clf_l = []
for i in range(10):
    rfc = RandomForestClassifier(n_estimators=25)
    rfc_s = cross_val_score(rfc,wine.data,wine.target,cv=10).mean()
    rfc_l.append(rfc_s)
    clf = DecisionTreeClassifier()
    clf_s = cross_val_score(clf,wine.data,wine.target,cv=10).mean()
    clf_l.append(clf_s)

plt.plot(range(1,11),rfc_l,label = "Random Forest")
plt.plot(range(1,11),clf_l,label = "Decision Tree")
plt.legend()
plt.show()
"""

 n_estimators学习曲线

#n_estimators学习曲线
superpa = []
for i in range(200):
    rfc = RandomForestClassifier(n_estimators=i+1,n_jobs=-1)
    rfc_s = cross_val_score(rfc,wine.data,wine.target,cv=10).mean()
    superpa.append(rfc_s)
print(max(superpa),superpa.index(max(superpa)))
plt.figure(figsize=[20,5])
plt.plot(range(1,201),superpa)
plt.show()

n_estimators越大，模型的效果往往越好。但是相应的，任何模型都有决策边界，n_estimators达到一定的程度之后，随机森林的精确性往往不在上升或开始波动，并且，n_estimators越大，需要的计算量和内存也越大，训练的时间也会越来越长。对于这个参数，我们是渴望在训练难度和模型效果之间取得平衡。

 

除此之外，依然有四个常用接口：apply, fit, predict和score还需要注意随机森林的predict_proba接口

 

参考资源：菜菜的sklearn课堂直播间： https://live.bilibili.com/12582510