scikit-learn(sklearn)学习笔记十一 随机森林

本文介绍了集成学习中的随机森林算法,探讨了sklearn中集成算法如AdaBoost、Bagging、ExtraTrees、GradientBoosting等。重点讲解了RandomForestClassifier的参数n_estimators对模型性能的影响,并通过实例对比展示了其与决策树的差异。学习曲线和调参策略也进行了深入讨论,目标在于找到模型复杂度的平衡点以降低泛化误差。
摘要由CSDN通过智能技术生成

1.集成算法

它本身不是单独的机器学习算法,而是通过在数据上构建多个模型,集成所有模型的建模结果,以此来获取比单个模型更好的回归或分类表现。

2.sklearn中的集成算法

  • ensemble.AdaBoostClassifier AdaBoost分类
  • ensemble.AdaBoostRegressor AdaBoost回归
  • ensemble.BaggingClassifier 袋装分类器
  • ensemble.BaggingRegressor 袋装回归器
  • ensemble.ExtraTreesClassifier Extra_tree分类
  • ensemble.ExtraTreesRegressor Extra_tree回归
  • ensemble.GradientBoostingClassifier 梯度提升分类
  • ensemble.GradientBoostingRegressor 梯度提升回归
  • ensemble.IsolationForest 隔离森林
  • ensemble.RandomForestClassifier 随机森林分类
  • ensemble.RandomForestRegressor 随机森林回归
  • ensemble.RandomTreesEmbedding 完全随机树的集成
  • ensemble.VotingClassifier 用于不适合估算器的软投票/多数规则分类器

3.sklearn的基本建模流程

from sklearn.ensemble import RandomForestClassifier
rfc=RandomForestClassifier()
rfc=rfc.fit(X_train,y_train)
result=rfc.score(X_test,y_train)

4.RandomForestClassifier()

4.1 重要参数

4.1.1控制基评估器的参数

参数与决策树中的参数一致,再此不多赘述

n_estimators

基评估器的数量,这个参数对随机森林模型的精确性影响是单调的,n_estimators越大,模型效果往往越好

5.举例分析

from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
wine=load_wine()
Xtrain,Xtest,Ytrain,Ytest=train_test_split(wine.data,wine.target,test_size=0.3)

clf=DecisionTreeClassifier(random_state=0)
rfc=RandomForestClassifier(random_state=0)

clf=clf.fit(Xtrain,Ytrain)
rfc=rfc.fit(Xtrain,Ytrain)

score_c=clf.score(Xtest,Ytest)
score_r=rfc.score(Xtest,Ytest)

0.8888888888888888
0.9629629629629629

为了更直观的展示两者的差别

from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_wine
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
wine=load_wine()

rfc=RandomForestClassifier(random_state=25)
rfc_s=cross_val_score(rfc,wine.data,wine.target,cv=10)

clf=DecisionTreeClassifier(random_state=0)
clf_s=cross_val_score(clf,wine.data,wine.target,cv=10)

plt.plot(range(1,11),rfc_s,label="RandomForest")
plt.plot(range(1,11),clf_s,label="Decision Tree")
plt.legend()
plt.show()


在这里插入图片描述

6.n_estimation的学习曲线

from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_wine
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
wine=load_wine()
sup=[]
for i in range(200):
    rfc=RandomForestClassifier(random_state=25)
    rfc_s=cross_val_score(rfc,wine.data,wine.target,cv=10)
    sup.append(rfc_s)
print(max(sup),sup.index(max(sup)))
plt.figure(figsize=[20,5])
plt.plot(range(1,201),sup)
plt.show()#运行时间回很长

7.机器学习中调参的基本思想

在机器学习中,有用来描述模型再未知数据上的准确率的指标,叫做泛化误差
在这里插入图片描述

  • 模型太复杂或者太简单,都会让泛化误差高,我们追求的是位于中间的平衡点
  • 模型太复杂就会过拟合,模型太简单就会欠拟合
  • 对树模型和树的集成模型来说,树的深度越深,枝叶越多,模型越复杂
  • 树模型和树的集成模型的目标,都是减少模型复杂度,把模型往图像的左侧移动
    在这里插入图片描述

8.实例调参

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
data = load_breast_cancer()
#简单的建模,看模型本身在数据集上的效果
rfc=RandomForestClassifier(n_estimators=100,random_state=90)
score_pre=cross_val_score(rfc,data.data,data.target,cv=10).mean()
print(score_pre)

0.9648809523809524


#调整n_estimators
scorel=[]
for i in range(0,200,10):
    rfc=RandomForestClassifier(n_estimators=i+1,random_state=90)
    score=cross_val_score(rfc,data.data,data.target,cv=10).mean()
    scorel.append(score)
print(max(scorel),(scorel.index(max(scorel))*10)+1)
plt.figure(figsize=[20,5])
plt.plot(range(1,201,10),scorel)
plt.show()

0.9631265664160402 71

在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值