目录
ensemble.AdaBoostClassifier | AdaBoost分类 |
ensemble.AdaBoostRegressor | Adaboost回归 |
ensemble.RandomForestClassifier | 随机森林分类 |
ensemble.RandomForestRegressor | 随机森林回归 |
ensemble.BaggingClassifier | 装袋分类器 |
ensemble.BaggingRegressor | 装袋回归器 |
ensemble.GradientBoostingClassifier | 梯度提升分类 |
ensemble.GradientBoostingRegressor | 梯度提升回归 |
。。。 | |
。。。 | |
。。。 | |
。。。 | |
。。。 | |
。。。 |
随机森林 RandomForestClassifier参数
class sklearn.ensemble.RandomForestClassifier (
n_estimators=’10’, #生成森林的个数,越大效果越好,当然内存消耗和训练时长增加
criterion=’gini’, #特征选择
max_depth=None, #树的最大深度
min_samples_split=2, #一个节点分支后至少包含这么多个样本,否则不分支
min_samples_leaf=1,
min_weight_fraction_leaf=0.0,
max_features=’auto’,
max_leaf_nodes=None,
min_impurity_decrease=0.0,
min_impurity_split=None,
bootstrap=True, #自助采样(有放回的采样),让基分类器尽量不一样 0.632采了 保留了0.368
oob_score=False, #设置为True,训练完就可以用 oob_score_ 查看袋外数据测试分数
n_jobs=None,
random_state=None,
verbose=0,
warm_start=False,
class_weight=None)
实战部分
试验一
#导入决策树分类器 和 随机森林分类器 以及自带的红酒数据
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomFore
from sklearn.datasets import load_wine
#导入数据
wine = load_wine()
#分割训练集与测试集
from sklearn.model_selection import train_test_split
Xtrain, Xtest, Ytrain, Ytest = train_test_split(wine.data,wine.target,test_size=0.3)
#实例化树与森林
clf = DecisionTreeClassifier(random_state=0)
rfc = RandomForestClassifier(random_state=0)
#训练树与森林
clf = clf.fit(Xtrain,Ytrain)
rfc = rfc.fit(Xtrain,Ytrain)
#查看准确度
score_c = clf.score(Xtest,Ytest)
score_r = rfc.score(Xtest,Ytest)
print(,score_c,score_r)
试验二:
#用交叉验证试验一下
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
#实例化并使用交叉验证
rfc = RandomForestClassifier(n_estimators=25)
rfc_s = cross_val_score(rfc,wine.data,wine.target,cv=10)
#实例化并使用交叉验证
clf = DecisionTreeClassifier()
clf_s = cross_val_score(clf,wine.data,wine.target,cv=10)
plt.plot(range(1,11),rfc_s,label = "RandomForest")
plt.plot(range(1,11),clf_s,label = "Decision Tree")
plt.legend()
plt.show()
"""
rfc_l = []
clf_l = []
for i in range(10):
rfc = RandomForestClassifier(n_estimators=25)
rfc_s = cross_val_score(rfc,wine.data,wine.target,cv=10).mean()
rfc_l.append(rfc_s)
clf = DecisionTreeClassifier()
clf_s = cross_val_score(clf,wine.data,wine.target,cv=10).mean()
clf_l.append(clf_s)
plt.plot(range(1,11),rfc_l,label = "Random Forest")
plt.plot(range(1,11),clf_l,label = "Decision Tree")
plt.legend()
plt.show()
"""
n_estimators学习曲线
#n_estimators学习曲线
superpa = []
for i in range(200):
rfc = RandomForestClassifier(n_estimators=i+1,n_jobs=-1)
rfc_s = cross_val_score(rfc,wine.data,wine.target,cv=10).mean()
superpa.append(rfc_s)
print(max(superpa),superpa.index(max(superpa)))
plt.figure(figsize=[20,5])
plt.plot(range(1,201),superpa)
plt.show()
n_estimators越大,模型的效果往往越好。但是相应的,任何模型都有决策边界,n_estimators达到一定的程度之后,随机森林的精确性往往不在上升或开始波动,并且,n_estimators越大,需要的计算量和内存也越大,训练的时间也会越来越长。对于这个参数,我们是渴望在训练难度和模型效果之间取得平衡。
除此之外,依然有四个常用接口:apply, fit, predict和score还需要注意随机森林的predict_proba接口
参考资源:菜菜的sklearn课堂直播间: https://live.bilibili.com/12582510