台大机器学习听课笔记---RF 10-2 Out-Of-Bag Estimate

最新推荐文章于 2024-05-25 08:00:00 发布
最新推荐文章于 2024-05-25 08:00:00 发布
阅读量1.8k 收藏 1
点赞数 1
分类专栏： 数据挖掘与机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/findsd1989/article/details/46241271
版权

  • OOB：


列gi为从已有的资料中选出的一部分，行（Xi，Yi）为资料元数据。矩阵中红星代表未选中，Di代表被gi选中.



打红星的即为OOB。



N笔资料里面抽N笔资料(有放回抽样)，(Xn,Yn)未被选中的概率为

N足够大时，极限为1/e

则


  • OOB versus Validation
1. 打红星的资料在训练时没被用到。

2. 用打红星的资料验证小gt？没这个必要。

3. 用打红星的资料验证大G?  Yes！用Eoob来检测大G的表现。


Eoob在RF中衡量大G的表现时相当准确。

这样就不用再专门划分训练集和验证集。


  • Fun Time
Q：


A：2.（1/e）

Findss
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Point-Estimate-Methods-and-Samplers-master_two-pointestimate_
09-30
在统计学和机器学习领域，"点估计"是一种常见的参数估计方法，用于估计未知参数的值。"Two-Point Estimate Method"（两点估计法）是其中的一种具体策略，它通常涉及利用样本数据来确定一个参数的可能取值范围。在...
RandomForest中的包外误差估计out-of-bag (oob) error estimate
ybdesire的专栏
09-18 1万+
1. 引入 从RandomForest的鼻祖Breiman的comments（参考1）中，可以看到他说过：对于RandomForest的validation，没有必要像其他模型一样做cross-validation了，可以直接用RandomForest在内部就提供了out-of-bag (oob) error estimate，用这种方法就可以看出RF的训练效果了。 那我们该怎么理解out-of-bag (oob) error estimate呢？ 2. 原理：oob error estimate 首先解释
机器学习：随机森林RF-OOB袋外错误率
热门推荐
wishchinYang的专栏
09-12 4万+
文章讲解比较详细，且有Python代码，可以作为有用的参考。转载博客时候，竟然抄错成OBB了，也是悲剧................ 原文链接：http://blog.csdn.net/zhufenglonglove/article/details/51785220 参数：OOB-袋外错误率 构建随机森林的另一个关键问题就是如何选...
集成学习（Ensemble Learning）
最新发布
weixin_43156294的博客
05-25 989
集成学习（Ensemble Learning）是一种机器学习技术，它通过组合多个模型来提高整体的预测或分类性能。集成学习的基本思想是“三个臭皮匠，顶个诸葛亮”，即多个弱学习器（weak learners）的组合可以形成一个强学习器（strong learner）。集成学习通常能够提供比单一模型更好的泛化能力，减少过拟合的风险。
Python3入门机器学习之11.3 oob（Out-of-Bag）和关于Bagging的更多讨论
qq_42686927的博客
07-22 1182
Python3入门机器学习 11.3 oob（Out-of-Bag）和关于Bagging的更多讨论 1.oob： 对应的代码：oob_score=True 从而知道哪些样本没有被取到而被用作测试数据集。 2.关于Bagging的更多讨论： Bagging的思路极易并行化处理。 因为是独立的训练若干子模型，所以可以很方便的进行并行处理。scikit-learn中可以传入参数“n_jobs”来完成并行处理。 针对特征进行随机取样：Random Subspaces。 既针对样本，又针对特征进行随机采样：Ran
机器学习之随机森林（RF）
a1272899331的博客
03-06 5366
随机森林 模型收到低偏差和高方差问题的困扰，应该如何解决 低偏差意味着模型的预测值接近实际值。换句话说，该模型有足够的灵活性，以模仿训练所有数据的分布。貌似很好，但是别忘了，一个过于灵活的模型是没有泛化能力的。这意味着，当这个模型用在对一个未曾见过的数据集进行测试的时候，它会令人很失望。 在这种情况下，我们可以使用bagging算法（如随机森林），以解决高方差问题。 bagging...
随机森林 RF
kwame211的博客
08-25 1765
随机森林”是数据科学最受喜爱的预测算法之一。 20世纪90年代主要由统计学家Leo Breiman开发，随机森林因其简单而受到珍视。 虽然对于给定问题并不总是最准确的预测方法，但它在机器学习中占有特殊的地位，因为即使是那些刚接触数据科学的人也可以实现并理解这种强大的算法。 随机森林树 我们之前学习过分类树，随机森林就是种了很多分类树。对输入向量进行分类。每一颗树都是分类，要对这个输入向量进行"投票"。森林就是选择投票最多的那个树。 - 现在我们需要在森林里找N个数据进行训练，那训练集数量为N.
azure-boards-estimate:估算-Azure董事会的规划扑克
05-02
更新3/26/2021：我将关闭此扩展并在不久的将来停用后端。 不幸的是，我也失去了在市场上更新扩展程序的权限，因此我无法接受任何PR或部署更改。 更新3/18/2020：如下所述，我不再在Azure Boards团队工作，到目前...
DV.rar_DV-Distance_WSN_distance estimaite_distance estimate_dv d
07-14
distance estimate in wsn
Fast Converging Estimator for Covariance Matrix Structure of Compound-Gaussian Clutter
02-21
In order to estimate the covariance matrix structure of compound-Gaussian clutter, a Fast converging estimator (FCE) is proposed. Moreover, for the match case, the FCE is independent of the clutter ...
trello-estimate-tool：使用模板卡将Trello里程碑任务转换为新卡
02-05
Trello估算工具使用模板卡将Trello里程碑任务转换为新卡。 免责声明：此工具不... 清单任务必须采用以下形式： Task title (@user1/@user2/...) - low-estimate/high-etsimate一个示例任务： Create form (@jerrysmit
oob(out-of-bag)和关于bagging的更多讨论
Thumb_的博客
01-27 443
不用 train_test_split #%% 使用oob from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import BaggingClassifier bagging_clf = BaggingClassifier(DecisionTreeClassifier(), n_estimators=500,max_samples=100, # 集
Out of bag error in Random Forest
GavinZhou的博客
08-15 4811
sklearn中的RandomForestClassifier有一个参数: oob_score : bool (default=False) Whether to use out-of-bag samples to estimate the generalization accuracy. 中文叫‘袋外误差’，可以看出这个参数的意思是：使用oob来衡量test error.关于oob的解释
Out Of Bag (OOB 估计)
beijingbuaaer的博客
10-28 2780
Out Of Bag (OOB 估计)
《机器学习》学习笔记二
wxc575843
10-04 1300
模型评估与选择2.1经验误差与过拟合 错误率(error rate)：分类错误的样本数占样本总数的比例。E=a/mE=a/m 精度(accuracy)：1−a/m1-a/m即精度＝1−错误率精度＝1-错误率 误差(error)：学习器的实际预测输出与样本的真实输出之间的差异。 训练误差(training error)/经验误差(empirical error)：在训练集上的误差。 泛化误差(gen
Machine Learning with Scikit-Learn and Tensorflow 7.3 Out-of-Bag评价方式
qinhanmin2010的博客
04-06 1184
Hands-On Machine Learning with Scikit-Learn and Tensorflow
大白话5分钟带你走进人工智能-第二十九节集成学习之随机森林随机方式 ，out of bag data及代码(2)
L先生AI课堂
05-18 1464
大白话5分钟带你走进人工智能-第二十九节集成学习之随机森林随机方式 ，out of bag data及代码(2) 上一节中我们讲解了随机森林的基本概念，本节的话我们讲解随机森林的随机方式，以及一些代码。 目录 1-随机森林随机方式 2-out of baf data 3-代码 1-随机森林随机方式 我们先来回顾下随机森林中都有哪些...
Bagging
leadai的博客
04-11 1万+
上海站 | 高性能计算之GPU CUDA培训4月13-15日三天密集式学习  快速带你晋级阅读全文>正文共4133个字，3张图，预计阅读时间10分钟。Bagging是Bootstrap Aggregating的英文缩写，刚接触的童鞋不要误认为bagging是一种算法，Bagging和Boosting都是ensemble learing 中的学习框架，代表着不同的思想。boosting派系，它的特点
树模型(四)：随机森林
雪伦的专栏
04-18 3万+
1.分类回归树CART 随机森林是由多颗CART树组成的，下面简单叙述下回归树及生成树的算法 （1）最小二乘回归树生成算法 （2）分类树的生成 分类树可以使用基尼指数、信息增益、分类误差率作为分类标准，至于为什么上面的指标，我们可以从信息论的角度思考。同样采样这样的分类标准会导致生成树选择最优属性时会偏向类别比较多的属性，因此在实际使用的过程中应对数据集进行处理或者控制树的深度。虽然决策
Estimate Viewpoint --> 3 params翻译
06-02
"Estimate Viewpoint --> 3 params" 的意思是 "估计视角 --> 3个参数"。 在计算机视觉中，估计视角通常是指从给定的图像或视频中计算出相机的位置和方向。这个过程通常需要估计相机的内部参数（如焦距和像素中心点...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值