R语言 random forests out-of-bag prediction

最新推荐文章于 2024-02-28 15:03:07 发布
最新推荐文章于 2024-02-28 15:03:07 发布
阅读量446 收藏
点赞数 1
分类专栏： R
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/songbaiyao/article/details/107026608
版权
本文探讨了R语言中随机森林模型的out-of-bag预测原理。在训练过程中，每个样本约有1/3的决策树未使用该样本，用于out-of-bag预测。因此，当使用训练数据进行预测时，会得到与完整预测不同的结果，因为out-of-bag预测仅基于部分决策树。
摘要由CSDN通过智能技术生成

out-of-bag prediction

Created: Jun 29, 2020 12:22 PM
Updated: Jun 29, 2020 12:28 PM

https://stackoverflow.com/questions/25153276/difference-of-prediction-results-in-random-forest-model

https://stats.stackexchange.com/questions/412479/difference-between-the-out-of-bag-error-and-the-predicted-error

用R语言算random forests的时候发现，训练数据的model$predictions不等于predict(model, train_data)

这其实是一个与out-of-bag有关的合理设计。model$predictions给出的训练数据的预测值，是out-of-bag predictions，也就是对于每个point，**进行预测的时候包含这个point的tree会被排除在外！**random forests中每个tree训练的时候只用于2/3的数据，所以进行out-of-bag预测的时候，只

最低0.47元/天 解锁文章
小林书店副编集
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
R语言使用caret包的bag函数拟合bagging多分类算法、使用predict函数和训练好的多分类模型进行预测推理、confusionMatrix函数输出多分类混淆矩阵
statistics+insight+vista+power
12-24 363
R语言使用caret包的bag函数拟合bagging多分类算法、使用predict函数和训练好的多分类模型进行预测推理、confusionMatrix函数输出多分类混淆矩阵（包含许多衍生指标、PPV、NPV、特异度、敏感度、p值等）
平行集成 Parallel ensemble & bagging--Random Forest 随机森林
weixin_44746091的博客
10-22 234
一、平行集成 Parallel ensemble learning Bagging : bootstrap aggregating 的缩写 （有放回采样）在从样本中抽样给classifier 或者predictor来训练集成模型里面的单个模型的时候，这里的采样方式是有放回的。如下图中，假设总样本为9个不同颜色的球，其中红色4个，绿色3个，蓝色两个。现在要从这个样本中抽取两个子集(subset)，分别命名为bag1和bag2，在一中抽取的为4个红球，两个蓝球，此时如果不将球放回的话，那么bag2中只能从剩下的
Random forest中out-of-bag data占原数据集的30%-40%
Huxixu123的博客
04-04 833
神奇的1/3 今天在看Berkeley的网页学习随机森林，有一个很小的细节总是搞不懂，一直抓耳挠腮。在定义out-of-bag data时，Leo Breiman说剩下没被bootstrap抽中的样本大概有1/3。为什么是三分之一呢？这让我一直想不清楚，最后在stackoverflow上看到了答案。（果然stackoverflow上就是大神多） 考虑一个样本量为NNN的集合，对它做一个样本量也是N...
R语言系列—回归分析
weixin_30507481的博客
06-30 867
一元线形回归模型：有变量x,y。假设有关系y=c+bx+e,其中c+bx 是y随x变化的部分，e是随机误差。 可以很容易的用函数lm()求出回归参数b,c并作相应的假设检验，如： x<-c(0.10, 0.11, 0.12, 0.13, 0.14, 0.15,0.16, 0.17, 0.18, 0.20, 0.21, 0.23) y<-c(...
R语言【ROCR】——prediction()：创建一个prediction对象
最新发布
whitedrogen的博客
02-28 508
每个使用ROCR的分类器评估都是从创建一个预测对象开始的。该函数用于将输入数据(可以是矢量、矩阵、数据帧或列表形式)转换为标准化格式。 Arguments 参数【predictions】：包含预测的向量、矩阵、列表或数据帧。参数【labels】：包含真正类标签的向量、矩阵、列表或数据帧。必须具有与预测相同的维度。参数【label.ordering】：可以通过提供包含负类和正类标签的向量来更改类的默认排序(cf.details)。predictions和labels可以是长度相同的向量。然而，在交叉验证
Machine Learning with Scikit-Learn and Tensorflow 7.3 Out-of-Bag评价方式
qinhanmin2010的博客
04-06 1212
Hands-On Machine Learning with Scikit-Learn and Tensorflow
R语言 randomForest 函数
SLANG006的博客
09-21 4629
randomForest函数 randomForest在RStudio中的Documentation： randomForest {randomForest} R Documentation Classification and Regression with Random Forest Description randomForest implements Breiman's random forest algorithm (based on Breiman and Cutler's orig...
Random Forests (随机森林）
Mr.Phoebe的专栏
04-14 1万+
在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 “Random Forests” 是他们的商标。 这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林（random decision forests）而来的。这个方法则是结合 Breimans
R语言predict函数用法
温馨的小窝
06-05 3万+
R语言predict函数用法 predict(object, newdata, se.fit = FALSE, scale = NULL, df = Inf, interval = c(“none”, “confidence”, “prediction”), level = 0.95, type = c(“response”, “terms”), terms = NULL, na.action = na.pass, pred.var = res.var/weights, weights = 1, …) 参数
R语言 predict()函数的用法简记
qq_39149232的博客
12-02 2万+
R语言中如何使用回归模型进行预测 此博文为翻译内容，原文点这里 在R语言中为了拟合一个线性回归模型，我们可以使用lm()函数。函数用法如下： model <- lm(y ~ x1 + x2, data=df) 我们可以像下面这样用拟合得到的线性回归模型预测新数据的结果： predict(model, newdata = new) （这里使用了新的数据“new”，下文有具体的例子） 下面结合几个例子介绍在R语言中如何使用线性回归模型进行预测 例1：简单线性回归模型的预测 下面的代码展示了如何拟合简单
R语言使用决策树预测NBA球员投篮结果
mike_jun的博客
05-18 6241
#条件推理决策树(CHAID算法)#条件推理决策树(CHAID算法) #探索和收集数据 setwd("D://data") NBA&lt;-read.table("shot_logs.csv",header = T,sep = ",")#读取数据 set.seed(1234) hist(NBA$SHOT_DIST)#投球距离的直方图 NBA$SHOT_RESULT &lt;- factor(NB...
R语言中的fitted() 和 predict()
ZY_Jack的博客
11-30 2万+
R语言中的fitted() 和predict() 总结来说，fitted（拟合）是在给定样本上做预测，而predict（预测）是在新的样本上做预测。 以前一篇中的数据为例，图片是根据高度（height）来预测体重（weight）。 其中真实的数据是第一项，fitted得到的数据（拟合数据）是第二项，表现在图中： 真实值位于离散的点上，而fitted和predict得到的拟合值则是位于直线上。 p...
R语言学习笔记(二)——回归分析
EverestRs的博客
10-28 6657
什么是回归？ 回归是指研究某一个变量(称为因变量)与一个或多个变量(称为自变量或解释变量）之间的相互依赖关系，或者说用自变量解释因变量的变化，进一步，对于自变量（在重复抽样中）的给定值，估计或预测因变量的总体均值。 变量间的关系： （1）确定性关系或函数关系：研究的是确定现象非随机变量间的关系。 是一一对应的确定关系 设有两个变量x和y，变量y随变量 x一起变化，并完全依赖于x，当变量x取某个数...
R语言时间序列之数据平滑及预测
Mezzie的博客
07-27 2万+
一 移动平均   移动平均能消除数据中的季节变动和不规则变动。若序列中存在周期变动，则通常以周期为移动平均项数。移动平均法可以通过数据显示出数据长期趋势的变动规律。    R可用filter()函数做移动平均。用法：filter(data，filter，sides) 参数 含义 data 时间序列 filter 通常为一个向量，表示移动平均模型里的系数。如若为3项移动平均，则
R语言-绘制ROC曲线
热门推荐
自由 平等~忠诚 奉献
04-14 6万+
浅谈ROC曲线机器学习中很常见的一个大类就是二元分类器。很多二元分类器会产生一个概率预测值，而非仅仅是0-1预测值。我们可以使用某个临界点（例如0.5），以划分哪些预测为1，哪些预测为0。得到二元预测值后，可以构建一个混淆矩阵来评价二元分类器的预测效果。所有的训练数据都会落入这个矩阵中，而对角线上的数字代表了预测正确的数目，即True Positive+True Nagetive。同时可以相应算出
R语言|求ROC和AUC值
军军的专栏
09-29 4万+
测试 junjun 2016年9月29日 1、求ROC和AUC值 #方法一:ROCR包中主要是两个class：prediction和performance。前者是将预测结果和真实标签组合在一起，生成一个prediction对象，然后在用performance函数，按照给定的评价方法，生成一个performance对象，最后直接对performance用plot函数就能绘制出相应
R语言与分类算法的绩效评估
beta
01-11 1万+
关于分类算法我们之前也讨论过了KNN、决策树、naivebayes、SVM、ANN、logistic回归。关于这么多的分类算法，我们自然需要考虑谁的表现更加的优秀。          既然要对分类算法进行评价，那么我们自然得有评价依据。到目前为止，我们讨论分类的有效性都是基于分类成功率来说的，但是这个指标科学吗？我们不妨考虑这么一个事实：一个样本集合里有95个正例，5个反例，分类器C1利用似然的
随机森林详解
格物致知
10-28 5172
袋装（Bootstrap Aggregating——Bagging） 在统计学中，Bootstrap 是依靠替换随机采样的任意试验或度量。我们从上文可以看见，决策树会受到高方差的困扰。这意味着如果我们把训练数据随机分成两部分，并且给二者都安置一个决策树，我们得到的结果可能就会相当不同。Bootstrap 聚集，或者叫做袋装，是减少统计学习方法的方差的通用过程。
Random Forests RDD-based API scala代码输出预测结果
05-28
好的，如果你使用的是 Spark MLlib 中的随机森林算法（Random Forests）, 可以按照以下步骤来输出预测结果： 1. 加载训练好的模型 ```scala import org.apache.spark.mllib.tree.model.RandomForestModel val model = RandomForestModel.load(sc, "<path_to_model>") ``` 2. 加载测试数据，将其转换为 RDD，并进行特征向量化 ```scala import org.apache.spark.mllib.linalg.Vectors val test = sc.textFile("<path_to_test_data>").map(line => line.split(",")).map(row => (row(0).toDouble, Vectors.dense(row.tail.map(_.toDouble)))) ``` 3. 进行预测并输出结果 ```scala val predictions = test.map{case (label, features) => (model.predict(features), label)} predictions.foreach(println) ``` 其中，`<path_to_model>` 为保存的模型路径，`<path_to_test_data>` 为测试数据的路径，`<label_col>` 为标签列的名称，`<feature_col_1>`、`<feature_col_2>` 等为特征列的名称。 希望这个回答能够帮到你！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值