【随机森林】random forests 简单介绍

最新推荐文章于 2024-06-26 06:30:00 发布
最新推荐文章于 2024-06-26 06:30:00 发布
阅读量765 收藏 4
点赞数
文章标签： 随机森林 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47867419/article/details/128487955
版权
  • Random Forest，顾名思义 Random 就是随机抽取； Forest 就是说这里不止一棵树，而由 一群决策树组成的一片森林 ，连起来就是用随机抽取的方法训练出一群决策树来完成分类任务。
  • RF用了两次随机抽取, 一次是对训练样本的随机抽取; 另一次是对变量 (特征) 的随机抽取。这主要是为了解决样本数量有限的问题
  • RF的核心是由弱变强思想的运用。每棵决策树由于只用了部分变量、部分样本训练而成, 可能单个的分类准确率并不是很高。 但是当一群这样的决策树组合起来分别对输入数据作出判断时, 可以带来较高的准确率。有点类似于俗语三个㚖皮匠顶个诸葛亮。
  • 随机森林有两个重要参数：树节点预选的变量个数；随机森林中树的个数

随机森林思想来源

 PAC  →  Bootstrap  →  Bagging  →  Random Forest  ←  CART  \text { PAC } \rightarrow \text { Bootstrap } \rightarrow \text { Bagging } \rightarrow \text { Random Forest } \leftarrow \text { CART }  PAC → Bootstrap → Bagging → Random Forest ← CART 

PAC(Probably Approximately Correct)
  • 在该模型中, 若存在一个多项式级的学习算法来识别一组概念, 并且识别正确率很高, 那么这组概念是强学习算法; 而如果学习算法识别一组概念的正确率仅比随机猜测略好, 那么这组概念是弱学习算法。
  • 如果可以将弱学习算法提升成强学习算法, 那么我们就只要找到一个弱学习算法, 然后把它提升成强学习算法, 而不必去找通常情况下很难获得的强学习算法。
Bootstrap
  • 根据PAC由弱得到强的思想, 统计学著名学者Bradley Efron在 1979年提出了Bootstraps算法, 这个名字来自于成语 “pull up by your own bootstraps”, 意思是依靠自己的资源, 称为自助法。
  • 它的思想就是当样本数量不大, 分布情况未知时, 可以从原始样本中随机抽取的多个样本情况 (弱学习) 来估计原样本真实的分布情况。它是非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法。
  • 其基本步骤如下:
    – (1) 从原始数据集中, 有放回地抽样一定数量的样本
    – (2)根据抽出的样本计算给定的统计量 T \mathrm{T} T
    – (3)重复上述N次 (一般大于1000), 得到 N N N 个统计量 T \mathrm{T} T
    – (4)计算上述 N \mathrm{N} N 个统计量 T \mathrm{T} T 的样本方差, 得到统计量的方差
  • 0.632自助法
    假设给定的数据集包含 d \mathrm{d} d 个样本。该数据集有放回地抽样 d \mathrm{d} d 次, 产生 d \mathrm{d} d 个样本的训练集。原数据中的某些样本很可能在该样本集中出现多次。显然每个样本被选中的概率是 1 / d 1 / \mathrm{d} 1/d，因此未被选中的概率就是 ( 1 − 1 / d ) (1-1/d) (1−1/d)，这样一个样本在训练集中没出现的概率就是 d \mathrm{d} d 次都未被选中的概率, 即 ( 1 − 1 / d ) d (1-1/d) ^d (1−1/d)d。当 d d d 趋于无穷大时, 这一概率就将趋近于 e − 1 = 0.368 e^{-1}=0.368 e−1=0.368，所以留在训练集中的样本大概就占原来数据集的 63.2 % 63.2 \% 63.2% 。
Bagging
  • Bagging 又叫bootstrap aggregation, 是Breiman在1993 年提出的方法, 第一步就是根据Bootstrap进行抽样。
  • 基本的步骤:
    – (1)从样本集中用Bootstrap采样选出 n \mathrm{n} n 个样本
    – (2)在所有属性上, 对这 n \mathrm{n} n 个样本建立分类器 (CART or SVM or …)
    – (3)重复以上两步m次, i.e. 建立 m m m 个分类器 (CART or SVM or … )
    – (4)将数据放在这m个分类器上跑, 最后vote看到底分到哪一类
  • 这种方法可以大大降低每个分类器的不稳定性, 从而带来较高的预测准确率。从这个方法再往下发展就是随机森林了

随机森林

  • 随机森林是以决策树为基本分类器的一个集成学习模型, 它包含多个由Bagging集成学习技术训练得到的决策树。
  • Random Forests不同的是: 在Bagging的基础上, 使用一种改进的树学习算法, 在每个候选分裂的学习过程中, 选择特征值的一个随机子集。有时被称为 “feature bagging”。
    在这里插入图片描述
  • 该算法用随机的方式建立起一棵棵决策树, 然后由这些决策树组成一个森林, 其中每棵决策树之间没有关联, 当有一个新的样本输入时, 就让每棵树独立的做出判断, 按照多数原则决定该样本的分类结果。
构建随机森林

(1) 从样本集中用bagging采样选出 n \mathrm{n} n 个样本, 预建立CART
(2) 在树的每个节点上, 从所有属性中随机选择 k \mathrm{k} k 个属性, 选择出一个最佳分割属性作为节点（RI 和 RC ）
(3) 重复以上两步m次, i.e. 构建m棵CART (不剪枝)
(4) 这 m \mathrm{m} m 个CART形成Random Forest

利用随机森林预测

(1) 向建立好的随机森林中输入一个新样本
(2) 随机森林中的每棵决策树都独立的做出判断
(3) 将得到票数最多的分类结果作为该样本最终的类别

影响性能的因素
  • 森林中单棵树的分类强度（Strength）：每棵树的分类强度越大, 则随机森林的分类性能越好
  • 森林中树之间的相关度（Correlation）：树之间的相关度越大,则随机森林的分类性能越差。
果壳小旋子
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
随机森林 (Random Forests) 原理与代码实例讲解
禅与计算机程序设计艺术
06-14 1080
1. 背景介绍 随机森林（Random Forests）是一种广泛应用于数据挖掘和机器学习领域的强大机器学习算法。它结合了随机决策树的思想和随机特征选择的方法，能够有效地处理高维数据、非线性问题和不平衡数据集。在这篇文章中，我们将深入探讨随机森林的原理、核心概念以及如何使用代码实现。 2. 核心概念与联系
随机森林(Random Forests) 原理与代码实例讲解
最新发布
禅与计算机程序设计艺术
07-13 628
随机森林(Random Forests) - 原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在现代数据科学领域,机器学习算法扮演着越来越重要的角色。随着数据量的快速增长和问题复杂性的提高,传统的单一决策树模
Random forests， 随机森林，online random forests
weixin_30408739的博客
05-10 213
Random Forests (随机森林） 随机森林的思想很简单，百度百科上介绍的随机森林算法比较好理解。 在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 "Random Forests" 是他们的商标。 这个术语是1995年由贝尔实验室的Tin ...
AI学习指南机器学习篇-随机森林（Random Forests）算法简介
俞兆鹏的博客
06-26 963
随机森林是一种强大且灵活的机器学习算法，适用于各种分类和回归任务。通过组合多个决策树，随机森林能够提高模型的准确性和泛化能力。它在处理噪声数据和高维数据方面表现出色，并且能够评估特征的重要性。因此，在机器学习中，随机森林是一个非常有用的工具，值得研究和应用。希望通过本篇文章，你能够对随机森林算法有一个初步的了解，并能够在实际问题中应用它来解决机器学习任务。祝你在学习和实践中取得好成果！
Random Forest
绿箭侠
07-01 194
Random Forest——随机森林 上一篇是讲到了决策树，这篇就来讲一下树的集合，随机森林。 ①Aggregation Model 随机森林还是没有脱离聚合模型这块，之前学过两个aggregation model，bagging和decision tree，一个是边learning边uniform。首先是boostrap方式得到数据D1，之后训练做平均...
随机森林 Random Forest
热门推荐
JasonH2021的博客
05-27 1万+
本文主要简单介绍了随机森林的基本概念，优缺点，应用场景，模型的评价，建模时的注意事项，python的实现方法，示例和模型的参数等。
随机森林介绍
lzysjhp的博客
06-01 353
1、首先这是一种bagging算法，属于集成学习的一种。采用多颗cart数进行分类或者回归。如果是回归任务，最后根据每棵树的权重进行加权取平均，如果是分类的话采取投票法进行多颗树的合并。 2、之所以称之为随机，主要是每棵树使用的数据随机采样，以及使用的特征随机抽取。 ...
随机森林（Random Forests）介绍
daydayup_668819的博客
07-17 1万+
1.决策树（Decision Tree） 决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。常见的决策树算法有C4.5、ID3和CART。 2.集成学习（Ensemble Learning） 集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，...
Random Forests (随机森林）
Mr.Phoebe的专栏
04-14 1万+
在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 “Random Forests” 是他们的商标。 这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林（random decision forests）而来的。这个方法则是结合 Breimans
随机森林 (Random Forests) 简单介绍与应用
12-22
如 随机森林(Forests of randomized trees) 与 袋装法(Bagging methods) 。 提升法(boosting methods)： 训练开始后，从第二个模型开始，每个模型是针对前一个模型进行加权叠加。如 自适应提升(Adaboost) 与 梯度树...
RandomForests
03-12
RandomForests
Random forests(Leo Breiman)
11-22
Random forests are a combination of tree predictors such that each tree depends on the values of a random vector sampled independently and with the same distribution for all trees in the forest. The generalization error for forests converges a.s. to a limit as the number of trees in the forest becomes large. The generalization error of a forest of tree classifiers depends on the strength of the individual trees in the forest and the correlation between them. Using a random selection of features to split each node yields error rates that compare favorably to Adaboost (Freund and Schapire[1996]), but are more robust with respect to noise. Internal estimates monitor error, strength, and correlation and these are used to show the response to increasing the number of features used in the splitting. Internal estimates are also used to measure variable importance. These ideas are also applicable to regression.
随机森林算法介绍
03-08
随机森林算法介绍，详细介绍随机森林算法的原理，流程，功能，特性。
随机森林（Random Forest）简单介绍
百年孤独百年的博客
04-26 1万+
随机森林是一种监督式学习算法，适用于分类和回归问题。它可以用于数据挖掘，计算机视觉，自然语言处理等领域。随机森林是在决策树的基础上构建的。随机森林的一个重要特点是它可以减少决策树由于过度拟合数据而导致的过拟合，从而提高模型的性能。随机森林是一个由许多决策树组成的集成模型。它的核心思路是，当训练数据被输入模型时，随机森林并不是用整个训练数据集建立一个大的决策树，而是采用不同的子集和特征属性建立多个小的决策树，然后将它们合并成一个更强大的模型。通过对多个决策树的结果进行组合，随机森林可以增强模型的效果。
随机森林简介
qq_39967296的博客
05-24 507
随机森林是多个cart树弱分类器组合成的集成学习方法。 1、cart 树如何选择特征、剪枝 2、matlab随机森林包 百度云链接：
Random Forests
zhumin726的专栏
12-24 1038
How to grow a Decision Tree source : [3] LearnUnprunedTree(X,Y) Input: X a matrix of R rows and M columns where Xij = the value of the j'th attribute in the i'th input datapoint. Each column
随机森林（Random Forests）
u013177494的博客
05-19 1433
在机器学习中，随机森林是一个包含多个决策树的分类器。要说随机森林，必须先讲决策树。决策树是一种基本的分类器，一般是将特征分为两类。构建好的决策树呈树形结构，可以认为是if-then规则的集合，主要优点是模型具有可读性，分类速度快。决策树的主要工作，就是选取特征对数据集进行划分，最后把数据贴上两类不同的标签。如何选取最好的特征呢？在现实应用中，我们用不同的准则衡量特征的贡献程度。主流准则的列举3个：
Random Forests（随机森林）
weixin_43844215的博客
07-19 257
原理 参数，代码实现
随机森林（random forests）
04-27
随机森林（Random Forests）是一种集成学习方法，它通过组合多个决策树来进行分类和回归任务。随机森林的主要思想是通过构建多个决策树，并将它们的结果进行综合，来提高预测的准确性和稳定性。 随机森林的主要特点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

果壳小旋子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值