随机森林里oob_score以及用oob判断特征重要性的理解

最新推荐文章于 2025-04-23 18:59:51 发布
最新推荐文章于 2025-04-23 18:59:51 发布
阅读量2.3w 收藏 127
点赞数 24
分类专栏： 机器学习 文章标签： 机器学习 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MingRachel/article/details/115038730
版权
本文介绍了随机森林中的oob(oob_score)概念，以及如何利用oob数据评估特征的重要性。oob数据用于检测模型的泛化能力，类似于交叉验证。特征重要性可以通过比较特征值改变前后袋外数据误差的差异来衡量，但sklearn中的`feature_importances_`并非基于oob，而是基于不纯度减少。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文总结了我在学习随机森林时关于oob产生的一系列问题以及学习到的问题答案

在学习随机森林算法参数解释以及参数择优的过程中，注意到oob_score这一参数对应是否采用袋外样本来评估模型的好坏。
同时在学习随机森林的优点时，其中一条是训练后可以给出各个特征对于输出的重要性。

一开始未能清楚理解该优点的理论原因是什么，但在今天学习oob_score的时候，我就想这个优点是不是就是基于oob实现的（不是！具体看后文！）。

1. 什么是oob

首先简单说一下什么是袋外样本oob (Out of bag)：在随机森林中，m个训练样本会通过bootstrap (有放回的随机抽样) 的抽样方式进行T次抽样每次抽样产生样本数为m的采样集，进入到并行的T个决策树中。这样有放回的抽样方式会导致有部分训练集中的样本(约36.8%)未进入决策树的采样集中，而这部分未被采集的的样本就是袋外数据oob。

而这个袋外数据就可以用来检测模型的泛化能力，和交叉验证类似。可以理解成从train datasets 中分出来的validation datasets。

2. 什么是oob_score

对于单棵用采样集训练完成的决策树Ti，用袋外数据运行后会产生一个oob_score (返回的是R square来判断)，对每一棵决策树都重复上述操作，最终会得到T个oob_score，把这T和oob_score平均，最终得到的就是整个随机森林的oob_score
在这里插入图片描述

3. 如何用oob判断

最低0.47元/天 解锁文章
随机森林oob_score及oob判断特征重要性
Vulpes corsac
08-19 7986
Sklearn RandomForest算法（有监督学习），可以根据输入数据，选择最佳特征，减少特征冗余；同理，可以通过特征的排列组合，选择最优的组合特征，优化下游算法性能 原理：由于随机决策树生成过程采用的Boostrap，所以在一棵树的生成过程并不会使用所有的样本，未使用的样本就叫（out_of_bag）oob袋外样本。通过袋外样本，可以评估这个树的准确度；此外，其他子树按这个原理评估。最后，取平均值即是随机森林算法的性能。 特征选择...
随机森林 OOB理解
nemo的博客
05-15 1万+
一个大小为N的数据集.1.有一个问题是, 对于随机森林的每一棵CART树是怎么训练的, 如何划分训练集测试集?Bootstrap, 对数据集随机有放回抽样N次作为一棵CART树的训练集.根据概率论,可知数据集中有大约1/3的数据是没有被选取的(称为Out of bag),所以就是这没被选取的部分作为小树的测试集.2. 接下来的问题是, 怎么测试随机森林的性能, 测试集是什么?留坑....
随机森林算法OOB_SCORE最佳特征选择
热门推荐
深挖技术点滴
03-20 2万+
2018-04-02更新：补充OOB特征选择另一个原理 Sklearn RandomForest算法（有监督学习），可以根据输入数据，选择最佳特征，减少特征冗余；同理，可以通过特征的排列组合，选择最优的组合特征，优化下游算法性能 原理：由于随机决策树生成过程采用的Boostrap，所以在一棵树的生成过程并不会使用所有的样本，未使用的样本就叫（out_of_bag）oob袋外样本。通过袋外样本，...
机器学习详解(18):随机森林原理及代码实现
主要分享嵌入式软件、人工智能部分知识
04-03 1216
随机森林通过组合多棵决策树来进行预测。森林中的每棵树都在数据的一个随机子样本上进行训练，并在每次划分节点时只考虑部分随机选取的特征。每棵树就像一个“专家”，独立做出分类判断。最终结果通过多数投票决定哪一类为最终预测（如果是回归任务，则取所有树预测值的平均）。如下图所示，有一组由n棵树组成的森林，我们看前5棵，其中4棵判断为“猫”，1棵判断为“狗”，那最终结果就是“猫”。每棵树走的判断路径可能不同，因此预测也各有差异。Bootstrap抽样。
机器学习 | Scikit Learn中基于随机森林的OOB误差计算
python收藏家的博客
10-03 2172
随机森林是由多个决策树组成的集成机器学习模型。决策树是一种模型，它通过学习一系列基于数据特征的简单决策规则来进行预测。随机森林将多个决策树的预测组合在一起，以做出更准确、更稳健的预测。随机森林通常用于分类和回归任务。在分类中，目标是预测类别标签（例如，“猫”或“狗”）。在回归中，目标是预测一个连续的目标变量（例如，房屋的价格）。随机森林很受欢迎，因为它们很容易训练，可以处理高维数据，并且非常准确。它们还具有处理缺失值的能力，并且可以处理不平衡的数据集，其中某些类比其他类更普遍。
随机森林oob_score
09-02
- *1* *2* *3* [随机森林oob_score及oob判断特征重要性](https://blog.csdn.net/qq_36535820/article/details/119797794)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":...
随机森林特征重要性计算_【转】随机森林选取特征值
weixin_35713375的博客
01-10 4048
随机森林原理随机森林是一种相当简单、容易理解的方法，他的基本原理就是，从原数据集中有放回的采样获得若干个子集，基于每个子集训练出不同的基分类器，再通过基分类器的投票获得最终的分类结果。随机森林采用自助采样法（bootstrap）获得原数据集的子集，先了解自助采样法有助于我们更好的理解随机森林自助采样法给定一个包含 mm 个样本的数据集 DD , 我们对它进行采样产生数据集 D′D′ : 每次随机从...
机器学习：随机森林RF-OBB袋外错误率
alppkk4545的博客
09-12 3711
文章讲解比较详细，且有Python代码，可以作为有用的参考。 原文链接：http://blog.csdn.net/zhufenglonglove/article/details/51785220 参数：OBB-袋外错误率 构建随机森林的另一个关键问题就是如何选择最优的m（特征个数），要解决这个问题...
随机森林OOB score作用
studyvcmfc的专栏
05-23 1037
https://blog.csdn.net/MingRachel/article/details/115038730
基于随机森林实现特征选择降维及回归预测（Matlab代码实现）
weixin_46039719的博客
03-16 6050
可以看到，使用两个特征进行预测的准确度为85.2077，与使用所有特征进行预测的准确度相差不大，这表明随机森林特征选择方法有效的选择出了最重要的特征，实现了从大量特征到少数重要特征的特征降维筛选，极大的降低了特征的冗余性。当随机森林评价完成特征的重要性后，还需要对各个特征变量之间的相关性进行评估，以更加明显的看出何种特征最能影响预测结果，使用皮尔逊系数作为各个特征变量之间的相关性评价指标，从下图可以看出，越接近黄色表示相关性越强。2.确定要剔除的比例，依据特征重要性剔除相应比例的特征，得到一个新的特征集。
sklearn基础篇（七）-- 随机森林（Random forest）
CarpeDiem
11-16 1万+
随机森林就是通过集成学习的思想将多棵树集成的一种算法，它的基本单元是决策树，而它的本质属于机器学习的一大分支——集成学习（Ensemble Learning）方法。
随机森林（袋外OOB数据）
h2728677716的博客
03-12 6153
1.在数据抽样的时候，因为是有放回的采样，有很多条样本没有被选到，经过以下计算， 没条样本大概有百分之三十的概率是没有被采样的。 2.对于这些没有被采样到的数据（oob），我们希望能够得到利用当作验证集 当然对于单颗决策树没有必要用oob数据验证，我们可以用oob数据验证强学习器（评估）。 做法：加入在随机采样过程中第n条样本没有被g2,g3,g4采样到，我们就可以用第n条样本对整个强学习器做预测，然后得到第n条样本真实值与预测值的错误率。 那么我们就可以得到整体的强学习器对袋外数据的错误率，
随机森林（Random Forest）的学习
weixin_57128596的博客
05-19 1089
OOB就是我们的袋外数据，我们可以根据我们的OOB进行误差的计算。对于已经生成的随机森林,用袋外数据测试其性能,假设袋外数据总数为O,用这O个袋外数据作为输入,带进之前已经生成的随机森林分类器,分类器会给出O个数据相应的分类，因为这O条数据的类型是已知的,则用正确的分类与随机森林分类器的结果进行比较,统计随机森林分类器分类错误的数目,设为X,则袋外数据误差大小=X/O。
机器学习算法----决策树与随机森林 (信息熵、信息增益率、剪枝、OOB) (学习笔记)
深度不学习！！的博客
04-07 4282
文章目录决策树熵、信息熵、信息增益：剪枝随机森林OOB (袋外错误率)学习参考 前两天整理的笔记: 支持向量机 SVM 各种聚类算法 今天整理一下决策树和随机森林。 决策树 决策树顾名思义，一张图解释一下: 假设要见相亲对象，看这张图，这就是决策树的大概过程，每一个非叶子节点都是条件，叶子节点是结果，分支就是条件。 熵、信息熵、信息增益： 这俩东西的原理和计算方法后面再说了，一句话理解: 可以理解为混乱程度（分类效果不好)。 比如分类结果A里面啥都有，则他的混乱程度较大，所以熵值就大。 构造决策树的基
机器学习之随机森林（Random forest）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
07-11 2万+
随机森林是一种监督式算法，使用由众多决策树组成的一种集成学习方法，输出是对问题最佳答案的共识。随机森林可用于分类或回归，是一种主流的集成学习算法。
机器学习-随机森林
最新发布
2302_80087392的博客
04-23 1379
随机森林（Random Forest）是基于 Bagging 集成策略的机器学习算法，借助构建多棵去相关的决策树来实现协同预测。其核心在于独特的双重随机性机制：数据层面的随机性（Bootstrap Aggregating）：对原始训练集D进行T次有放回抽样，生成T个大小为n的子集{Dt​}t=1T​ 。根据概率计算，每个子集的期望唯一样本占比为：
《机器学习》笔记---随机森林
weixin_40029703的博客
12-20 961
Bagging    Bagging基于自助采样法，给定包含m个样本的数据集，我们先随机取出一个样本放入采样集中，再把该样本放回初始数据集中，使得下次采样仍肯能被选中，这样经过m次操作，我们得到m个样本的采样集，照这样，我们可采样出T个含m个训练样本的采样集，然后基于每个采样集训练一个基学习器，再将这些学习器进行结合。   在对预测输出进行结合时，Bagging通常对分类任务使用简单投票法，对回归任务使用简单平均法。 随机森林 RF   RF是以决策树为基学习器构建Bagging集成的基础上，进一步在决策
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值