【机器学习】Bagging和随机森林

已于 2024-09-03 15:57:19 修改
阅读量1.7k 收藏 86
点赞数 103
分类专栏： 机器学习 文章标签： 机器学习 随机森林 人工智能 python
于 2024-09-02 14:54:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_76820214/article/details/141819323
版权

 31e0e1d72b05439a89d6dba0be382def.jpeg

目录

🍔 Bagging 框架

1.1 算法引入

1.2 booststrap抽样

1.3 算法总结

1.4 Bagging性能

1.5 Bagging算法总结

🍔 随机森林

2.1 算法总结

2.2 随机深林 API

2.3 随机森林的Sklearn实战

🍔 小结

 

学习目标

🍀 知道Bagging算法的基本原理

🍀 掌握sklearn中随机森林API的使用方法

🍔 Bagging 框架

1.1 算法引入

Baggging 框架通过有放回的抽样产生不同的训练集，从而训练具有差异性的弱学习器，然后通过平权投票、多数表决的方式决定预测结果。

6fbf86fd7c374767bfe2759838387316.png

 

例子：

目标：把下面的圈和方块进行分类

9125e9f4fc574466b67e2938afa492f9.png

1)采样不同数据集

a94fe2c826eb46778d34637f9306e687.png

2)训练分类器

3e07194d890f4d17a713c4b875d9b277.png

3)平权投票，获取最终结果

b5958d17144942c7b92a000f9cc8440f.png

4)主要实现过程小结

534926dc74674dca8471b7d2d97c3c97.png

Bagging 使用 bootstrap 采样, 会存在大约 1/3 左右的数据未被选中用于训练弱学习，这部分未被选中的数据被称为 oob（out of bag）, 即：包外估计数据集。

1.2 booststrap抽样

在样本集D（样本数为m）内有放回的抽样，抽取数为m，每次抽取的概率相等为1/m，可能重复抽取。 原数据集D中36.8%的样本没有出现在采样数据集D1中。 我们可以使用D1作为训练集，D-D1作为测试集。这样实际评估的模型与期望的模型都使用m个训练样本，而我们仍有数据总量的1/3的，没有在训练集中出现的样本用于测试。

8b174e759f814e468e48e7436ca9708b.png

 

8a1e4f5e93544818bb25528291f5749a.png

OOB 数据集可以作为验证集，用来辅助树的剪枝、或者评估树泛化能力。

1.3 算法总结

dc3376e708ea4b808ab3780ca39f7337.png

Bagging基本流程：通过上述自助采样，采出T个含m个训练样本的采样集，然后基于每个采样集训练出一个基学习器，在将这些基学习器进行组合。

在对预测输出进行结合的时候，Bagging通常对分类任务使用简单投票法，对回归任务进行简单的平均法。但是如果投票个数一致，则最简单的做法是随机选择一个类别，当然也可以进一步考察学习器投票的置信度来确定最终的分类。

d3ef3894e0ec4fcda30a75ce1acd0d0c.png

基本分类器可以是决策树，逻辑回归等基分类器。

对于稳定性不好的分类器很实用，通过多数投票，减小了泛化误差，而对于稳定的分类器，集成效果并不明显。

1.4 Bagging性能

（1）Bagging是一个很高效的集成学习算法

（2）Bagging与下面讲的AdaBoost只适用于二分类不同，它能不经修改地用于多分类、回归任务。

（3）自助bootstrap采样过程还给Bagging带来了另一个优点：由于每个基学习器只使用了初始训练集中约63.2%的样本，剩下的约36.8%样本可用作验证集来泛化性能进行“包外样本评估（即：不同于训练数据的样本）”。

（4）从偏差-方差分解角度看，Bagging主要关注降低方差，因此他在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更为明显。

1.5 Bagging算法总结

Bagging算法首先采用M轮自助采样法，获得M个包含N个训练样本的采样集。然后，基于这些采样集训练出一个基学习器。最后将这M个基学习器进行组合。组合策略为：

  • 分类任务采用简单投票法：即每个基学习器一票

  • 回归问题使用简单平均法：即每个基学习器的预测值取平均值

     

🍔 随机森林

随机森林是基于 Bagging 思想实现的一种集成学习算法，它采用决策树模型作为每一个基学习器。其构造过程：

  1. 训练：

    1. 有放回的产生训练样本

    2. 随机挑选 n 个特征（n 小于总特征数量）

  2. 预测：平权投票，多数表决输出预测结果


73e7335ec38240618a4a184c5886cfc6.png

 

2.1 算法总结

集成学习分类之随机森林的步骤

c2ebd57bdbc443cc8e57760d43f93559.png

如上图：

首先，对样本数据进行有放回的抽样，得到多个样本集。具体来讲就是每次从原来的N个训练样本中有放回地随机抽取m个样本(包括可能重复样本)。

然后，从候选的特征中随机抽取k个特征，作为当前节点下决策的备选特征，从这些特征中选择最好地划分训练样本的特征。用每个样本集作为训练样本构造决策树。单个决策树在产生样本集和确定特征后，使用CART算法计算，不剪枝。

最后，得到所需数目的决策树后，随机森林方法对这些树的输出进行投票，以得票最多的类作为随机森林的决策。

说明：

（1）随机森林的方法即对训练样本进行了采样，又对特征进行了采样，充分保证了所构建的每个树之间的独立性，使得投票结果更准确。

（2）随机森林的随机性体现在每棵树的训练样本是随机的，树中每个节点的分裂属性也是随机选择的。有了这2个随机因素，即使每棵决策树没有进行剪枝，随机森林也不会产生过拟合的现象。

随机森林中有两个可控制参数：

  • 森林中树的数量（一般选取值较大）

  • 抽取的属性值m的大小。

思考

  1. 为什么要随机抽样训练集？　　

如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样。

  1. 为什么要有放回地抽样？

如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没有交集的，这样每棵树都是“有偏的”，都是绝对“片面的”（当然这样说可能不对），也就是说每棵树训练出来都是有很大的差异的；而随机森林最后分类取决于多棵树（弱分类器）的投票表决。

 

2.2 随机深林 API

sklearn.ensemble.RandomForestClassifier()

n_estimators：决策树数量，(default = 10)

Criterion：entropy、或者 gini, (default = gini)

max_depth：指定树的最大深度，(default = None 表示树会尽可能的生长)

max_features="auto”, 决策树构建时使用的最大特征数量

  • If "auto", then max_features=sqrt(n_features).

  • If "sqrt", then max_features=sqrt(n_features)(same as "auto").

  • If "log2", then max_features=log2(n_features).

  • If None, then max_features=n_features.

bootstrap：是否采用有放回抽样，如果为 False 将会使用全部训练样本，(default = True)

min_samples_split： 结点分裂所需最小样本数，(default = 2)

  • 如果节点样本数少于min_samples_split，则不会再进行划分.

  • 如果样本量不大，不需要设置这个值.

  • 如果样本量数量级非常大，则推荐增大这个值.

min_samples_leaf： 叶子节点的最小样本数，(default = 1)

  • 如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝.

  • 较小的叶子结点样本数量使模型更容易捕捉训练数据中的噪声.

min_impurity_split: 节点划分最小不纯度

  • 如果某节点的不纯度(基尼系数，均方差)小于这个阈值，则该节点不再生成子节点，并变为叶子节点.

  • 一般不推荐改动默认值1e-7。

 

上面决策树参数中最重要的包括

  1. 最大特征数 max_features，

  2. 最大深度 max_depth，

  3. 节点最少样本数 min_samples_split

  4. 叶子节点最少样本数: min_samples_leaf。

2.3 随机森林的Sklearn实战

这里使用泰坦尼克号案例实战：

#1.数据导入
#1.1导入数据
import pandas as pd
#1.2.利用pandas的read.csv模块从互联网中收集泰坦尼克号数据集
titanic=pd.read_csv("data/泰坦尼克号.csv")
titanic.info() #查看信息
#2人工选择特征pclass,age,sex
X=titanic[['Pclass','Age','Sex']]
y=titanic['Survived']
#3.特征工程
#数据的填补
X['Age'].fillna(X['Age'].mean(),inplace=True)
X = pd.get_dummies(X)
#数据的切分
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test =train_test_split(X,y,test_size=0.25,random_state=22)
​
​
#4.使用单一的决策树进行模型的训练及预测分析
from sklearn.tree import DecisionTreeClassifier
dtc=DecisionTreeClassifier()
dtc.fit(X_train,y_train)
dtc_y_pred=dtc.predict(X_test)
dtc.score(X_test,y_test)
​
#5.随机森林进行模型的训练和预测分析
from sklearn.ensemble import RandomForestClassifier
rfc=RandomForestClassifier(max_depth=6,random_state=9)
rfc.fit(X_train,y_train)
rfc_y_pred=rfc.predict(X_test)
rfc.score(X_test,y_test)
​
#6.性能评估
from sklearn.metrics import classification_report
print("dtc_report:",classification_report(dtc_y_pred,y_test))
print("rfc_report:",classification_report(rfc_y_pred,y_test))

超参数选择代码:

# 随机森林去进行预测
# 1 实例化随机森林
rf = RandomForestClassifier()
# 2 定义超参数的选择列表
param={"n_estimators":[80,100,200], "max_depth": [2,4,6,8,10,12],"random_state":[9]}
# 超参数调优
# 3 使用GridSearchCV进行网格搜索
from sklearn.model_selection import GridSearchCV
gc = GridSearchCV(rf, param_grid=param, cv=2)
gc.fit(X_train, y_train)
print("随机森林预测的准确率为：", gc.score(X_test, y_test))

 

🍔 小结

🍬 Bagging 通过自助法进行采样并用于训练弱学习器，最后采用平权投票方式决定未知样本的最后预测

🍬 随机森林通过自助法、特征采样方法训练弱学习器，最后采用平权投票方式决定未知样本的最后预测

 

 

 

小言从不摸鱼
关注
专栏目录
Bagging与随机森林
一路前行
09-04 2341
一、Bagging算法 Bagging是并行集成学习方法最著名的代表，可以用来提高学习算法准确度的方法，这种方法通过构造一个预测函数系列，然后以一定的方式将它们组合成一个预测函数。Bagging要求“不稳定”（不稳定是指数据集的小的变动能够使得分类结果的显著的变动）的分类方法。比如：决策树，神经网络算法。 Bagging的基本流程为： 1、首先采取随机采样(bootsrap)，也
数据分析面试【机器学习】总结之-----bagging和随机森林常见面试题整理
天阑之蓝的博客
08-06 1280
阅读之前看这里????：博主是正在学习数据分析的一员，博客记录的是在学习过程中一些总结，也希望和大家一起进步，在记录之时，未免存在很多疏漏和不全，如有问题，还请私聊博主指正。 博客地址：天阑之蓝的博客，学习过程中不免有困难和迷茫，希望大家都能在这学习的过程中肯定自己，超越自己，最终创造自己。 目录1.Bagging思想2.随机森林3.随机森林分类效果的影响因素4.随机森林有什么优缺点5.随机森林如何处理缺失值？6.随机森林的过拟合问题 1.Bagging思想 Bagging是bootstrap aggre
bagging和时间序列预测_时间序列预测模型ARIMA实现
weixin_39650784的博客
11-27 568
前段时间整理了一个预测的基本思考框架和常见的方法，其中提到了ARIMA模型，在《大数据预测》那本书里，ARIMA是单独开辟一章讲的，比较复杂和难理解的一个模型，自己最近找了点资料粗浅学习了一下理论，并尝试用Python实现一下。一、时间序列数据及其预处理1.时序数据时序数据顾名思义就是随着时间而变动的数据，是指某个个体在不同时间点上收集到的数据。已经被收集(或者叫观察)到的数据其实是时间...
Bagging 和随机森林
weixin_46556352的博客
04-05 1588
1. Bagging 框架¶ 1.1 算法引入¶ Baggging 框架通过有放回的抽样产生不同的训练集，从而训练具有差异性的弱学习器，然后通过平权投票、多数表决的方式决定预测结果。 例子： 目标：把下面的圈和方块进行分类 1) 采样不同数据集 2)训练分类器 3)平权投票，获取最终结果 4)主要实现过程小结 Bagging 使用 bootstrap 采样, 会存在大约 ⅓ 左右的数据未被选中用于训练弱学习，这部分未被选中的数据被称为 oob（out of bag）, ...
bagging与随机森林
zzk0126的博客
09-04 450
集成学习（ensemble learning）是现在非常热门的机器学习方法，在各种大赛中都可以看到它的身影。它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务，所以常常比单一学习器具有更为显著的泛化性能。根据个体学习器的生成方式，目前的集成学习主要可以分为两类：①个体学习器之间存在强依赖关系、必须串行生成的序列化方法，代表是Boosting；②个体学习器之间不存在强依赖关系、可同时生成并行化方法，代表是Bagging。
bagging和随机森林1
08-03
Bagging（Bootstrap Aggregating）和随机森林（Random Forest）是两种常用的机器学习算法，它们都是集成学习的方法，旨在提高模型的泛化性能和鲁棒性。 Bagging 算法 Bagging 算法的主要思想是将多个基学习器组合...
机器学习（八）：Bagging与随机森林
tb店铺搜：FUN STORE玩物社，专业买手挑选送礼好物
05-02 1532
引言：     Bagging基于自助采样法（bootstrap sampling），采样出T个含N个训练样本的采样集，然后基于每个采样集训练出一个基学习器，最后将这些基学习器进行结合得到最终结果。     随机森林（Random Forest,RF）是Bagging的一个扩展变体，以决策树为基学习器，并针对基决策树引入了随机属性选择，即传统决策树在选择划分属性时是在当前结点的属性集合（假定有...
机器学习之随机森林，集成学习，样本随机和特征随机，随机森林超参数
最新发布
09-23
内容概要：介绍了随机森林这一机器学习算法的基本概念及其背后的原理，其中包括集成学习思想、Bagging方法和随机性的来源等方面的内容。同时讲述了随机森林的应用优势以及内部实现机制，包括分类树生成规则和Gini...
Bagging 与随机森林
Innovat1on的博客
04-02 907
对于基分类器的要求： 使基学习器尽可能具有较大的差异&希望个体学习器不能太差 采用“自助来样法”生成多个样本（有放回抽样），生成的每一个Dm都训练出来一个分类器，再将这些基学习器进行结合 与标准 AdaBoost 只适用于二分类任务不间, Bagging 能不经修改地用于多分类、回归等任务. RF在以决策树为基学习器构建 Bagging 集成的基础上,进一步在决策树的训练过程中引入了随机属...
Bagging与随机森林算法
lost-person的博客
06-30 1269
注：本篇博客主要参考了博客Bagging与随机森林算法原理总结。 在集成学习中，有两个流派—— boosting 派系 和 bagging 流派。前者的特点是各个弱学习器之间有依赖关系，而后者的特点是各个弱学习器之间没有依赖关系，可以并行拟合。其中，随机森林算法便是 bagging 流派的典型代表。 Bagging原理 我们知道，为了得到泛化性能强的集成，则应尽可能地使弱分类器彼此之间相互独立。...
机器学习算法总结之Bagging与随机森林
Kaiyuan_sjtu的博客
04-24 3264
写在前面 集成学习（ensemble learning）是现在非常热门的机器学习方法，在各种大赛中都可以看到它的身影。它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务，所以常常比单一学习器具有更为显著的泛化性能。根据个体学习器的生成方式，目前的集成学习主要可以分为两类：①个体学习器之间存在强依赖关系、必须串行生成的序列化方法，代表是Boosting；②个体学习器之...
集成学习之Bagging与随机森林（ensemble learning)
qq_47250064的博客
09-25 1419
集成学习里面的随机森林，用交叉验证来计算随机森林解决决策树的过拟合问题。用随机森林解释普通学习和增量学习的区别，增量学习是新数据训练模型之后，模型仍然记得原来的树。
Bagging和随机森林
m0_46698362的博客
08-14 584
Bagging是Bootstrap aggregating的缩写，该方法的核心包括自助抽样（boostrap）和平均（aggregating） Bagging自助抽样过程 通过有放回抽样的方式，获取与原数据集D大小一样的样本集Dt。 给定n个样本的数据集D，对于迭代（t=1，2，…，T），用来创建分类器Mt,基于基分类器的投票返回类预测。一个样本有1-1/n的概率不会被选到，则一个样本不会被抽到的概率是 lim⁡n→∞(1−1n)n=0.368 \lim_{n\rightarrow \infty }\le
bagging 和 随机森林
wqtltm的博客
08-25 2141
太懒了 直接把周老师的书内容整上来吧       首先它的采样是有放回的采样，称为自助采样 booststrap  很显然再ADABOOST里面，我们发现各个学习器之间其实是很不独立的，而bagging 要做的就是加大独立性，所谓的和而不同。它有一个优势就是可以并行训练因此速度很快，速度和单个的及学习器的训练速度一样的。     相比于ADABOOST  它的另一个优势就是可...
sklearn集成学习：Bagging与随机森林详解
sklearn提供了两种主要的集成策略：bagging（自助法）和基于随机决策树的森林（如随机森林和Extra-Trees）。 **Bagging元估计器**： Bagging（Bootstrap Aggregating）是一种并行构建多个基础模型的方法，旨在减少...
评论 139
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值