boosting和bootstrap区别

最新推荐文章于 2023-05-19 20:15:37 发布
最新推荐文章于 2023-05-19 20:15:37 发布
阅读量1k 收藏 1
点赞数
文章标签： Python boosting bootstrap 编程语言 机器学习
原文链接：https://www.php.cn/python-tutorials-425450.html
版权

bootstrap、boosting是机器学习中几种常用的重采样方法。其中bootstrap重采样方法主要用于统计量的估计，boosting方法则主要用于多个子分类器的组合。

在这里插入图片描述

bootstrap:估计统计量的重采样方法（推荐学习：《0基础入门python》）

bootstrap方法是从大小为n的原始训练数据集DD中随机选择n个样本点组成一个新的训练集，这个选择过程独立重复B次，然后用这B个数据集对模型统计量进行估计（如均值、方差等）。由于原始数据集的大小就是n，所以这B个新的训练集中不可避免的会存在重复的样本。

统计量的估计值定义为独立的B个训练集上的估计值θbθb的平均：

在这里插入图片描述

boosting:

boosting依次训练k个子分类器，最终的分类结果由这些子分类器投票决定。

首先从大小为n的原始训练数据集中随机选取n1n1个样本训练出第一个分类器，记为C1C1，然后构造第二个分类器C2C2的训练集D2D2，要求：D2D2中一半样本能被C1C1正确分类，而另一半样本被C1C1错分。

接着继续构造第三个分类器C3C3的训练集D3D3，要求：C1C1、C2C2对D3D3中样本的分类结果不同。剩余的子分类器按照类似的思路进行训练。

boosting构造新训练集的主要原则是使用最富信息的样本。

相关免费资料分享（点击即可免费观看~）

0基础入门 Python

同样是爬虫，别人为啥用的这么6？

一堂课快速认识python数据分析

142244252 学习资料交流群，想要和志同道合的朋友一起学习，大家互相分享自己的学习资料和作品，欢迎感兴趣的朋友共同学习，共同进步，每天还会有免费的公开课程！！

Z_Silence
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
总结boosting，Adaboost，Bootstrap和Bagging的含义和区别
TX951的专栏
11-26 5665
这几个名词经常混淆，在调查了百度，wiki和一些网友的分享，特整理如下： Boosting算法： 弱分类器：分类效果差，只是比随机猜测好一点。 强分类器：具有较高的识别率，较好的分类效果。（在百度百科中有提到要能在多项式时间内完成学习） 弱和强更大意义上是相对而言的，并没有严格的限定。比如准确率低于多少就是弱分类器，高于多少是强分类器，因具体问题而定。   1988年，有学者提出是否可
快速理解bootstrap,bagging,boosting-三个概念
热门推荐
猫爷大数据学习笔记
11-10 2万+
1 booststraping：意思是依靠你自己的资源，称为自助法，它是一种有放回的抽样方法，它是非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法。 2 bagging：bootstrap aggregating的缩写。让该学习算法训练多轮。 3 boost：其中主要的是adaboost（adaptive boosting） 4 bagging和boosting的区别：二者的主要区别是取样本方式不同
Bootstrap(自助法)，Bagging，Boosting(提升)
奋进的小白粥
05-20 1908
前言 最近在理清一些很必要的也很基础的东西，记录一下，结合网上和文献，自己也有些易化使之更轻松理解，如有错误，请不吝赐教，多谢！ Bootstrap(自助法) Bootstrap是一种抽样方法 核心思想 这里写图片描述 子样本之于样本，可以类比样本之于总体 栗子：我要统计鱼塘里面的鱼的条数，怎么统计呢？假设鱼塘总共有鱼1000条，我是开了上帝视角的，但是你是不知道里面有多少。 步骤： 1. 承包鱼塘，不让别人捞鱼(规定总体分布不变)。2. 自己捞鱼，捞100条，都打上标签(构造
Boostrap、Bagging和Boosting
qq_37657182的博客
12-16 290
Bootstrap 思想：利用小样本的分布来估计总体真实的分布，在小样本时效果很好 Bagging 属于集成学习的一种，从训练集从进行子抽样组成每个基模型所需要的子训练集。抽个要放回去，对所有基模型预测的结果进行综合产生最终的预测结果。代表：随机森林（RF）,可以既可以处理属性为离散值的量，比如ID3算法来构造树，也可以处理属性为连续值的量，比如C4.5算法来构造树。结果为少数服从多数，多个决策树的投票结果。随机森林中的分类器是并行生成的。 Boosting 一种框架算法，用来提高弱分类器准确度的方法。Bo
机器学习随记（7）——bootstrap、bagging、boosting、随机森林
YoungITの博客
05-19 776
是一种统计方法，也是一种思想，简单说就是在所有样本集中进行有放回地抽样，抽取n个样本。如果不清楚样本的分布，bootstrap是一种合适的方法。Bagging方法在训练过程中，各基分 类器之间，可以进行并行训练。其中很著名的算法之一是基于决策树基 分类器的随机森林（Random Forest）。为了让基分类器之间互相独立，将训练集 分为若干子集（当训练样本数量较少时，子集之间可能有交叠）。Bagging方法更 像是一个集体决策的过程，每个个体都进行单独学习，学习的内容可以相同，也 可以不同，也可以部分重叠。
总结：Bootstrap(自助法)，Bagging，Boosting(提升) - 简书.pdf
10-13
关于机器学习方面的集成算法，包括boosting和bagging，里面讲解详细，值得下载
集成学习概览_Bagging与Boosting1
08-03
集成学习概览_Bagging与Boosting 集成学习是一种机器学习思想，其核心是将多个...Bagging、Boosting 和 Stacking 是三种常用的集成学习方法，每种方法都有其优点和缺陷，选择哪种方法取决于具体的应用场景和问题域。
ISL-python：作为Jupyter笔记本的《统计学习入门》中的实验和练习解决方案
01-31
ISL-python：作为Jupyter笔记本的《统计学习入门》中的实验和练习解决方案
The Elements of Statistical Learning(2nd)(Trevor Hastie 2008)_10.Boosting and Additive Trees.pdf
02-07
The many topics include neural networks, support vector machines, classification trees and boosting--the first comprehensive treatment of this topic in any book. Trevor Hastie, Robert Tibshirani, and...
非人寿保险定价的数据分析-研究论文
05-20
这些说明旨在为精算师提供保险定价和数据科学方面... 然后，我们介绍了几种机器学习技术，例如回归树，装袋，随机森林，boosting机器和神经网络。 最后，我们提供了从无监督学习中分析远程信息处理汽车驾驶数据的方法。
booststraping
Claroja
10-15 545
Bagging 和 Boosting 都使用 Bootstrapping booststraping：是一种有放回的抽样方法 1.采用重抽样技术从原始样本中抽取一定数量的样本 2.根据抽出的样本计算统计量T。 3.重复上述N次（一般大于1000），得到统计量T。 4.计算上述N个统计量T的样本方差，得到统计量的方差。 允许模型或算法更好地理解存在于其中的偏差、方差和特征。Bootstrapping 同样适用倾向于过拟合的小数据集。 参考： https://www.jianshu.com/p/369e3f4
机器学习-有监督学习-集成学习方法(五)：Bootstrap-＞Boosting(提升)方法-＞eXtremeGradientBoosting算法--+决策树--＞XGBoost提升树
u013250861的博客
12-04 556
XGBoost，在计算速度和准确率上，较GBDT有明显的提升。xgboost 的全称是eXtreme Gradient Boosting，它是Gradient Boosting Machine的一个c++实现，作者为正在华盛顿大学研究机器学习的大牛陈天奇 。 - XGBoost最大的特点在于，它能够自动利用CPU的多线程进行并行，同时在算法上加以改进提高了精度。它的处女秀是Kaggle的 希格斯子信号识别竞赛，因为出众的效率与较高的预测准确度在比赛论坛中引起了参赛选手的广泛关注。 - 一般地说， XGBoo
集成方法：bootstrap,boosting,stacking
weixin_39127090的博客
06-22 193
一些学习笔记，markdown一下~ 1. Bootstrap(Bagging) 自助法 从数据集D中，有放回随机采样m次，组成一个新样本集D’ 2. Boosting 提升法 根据它们的上一轮的分类准确率给予不同的权重。加和弱学习者之后，数据通常会被重新加权，来强化对之前分类错误数据点的分类，其中一个经典的提升算法例子是AdaBoost。 3. Stacking 堆叠法 将训练好的所有基模型对整个训练集进行预测，第j个基模型对第i个训练样本的预测值将作为新的训练集中第i个样本的第j个特征值，最后基于新
bootstrap, boosting, bagging 几种方法的区别与联系
不忘初心 方得始终
07-28 5323
参考来源：http://blog.sina.com.cn/s/blog_4a0824490102vb2c.html ========================================================== 这两天在看关于boosting算法时，看到一篇不错的文章讲bootstrap, jackknife, bagging, boosting, random fore
集成学习==>Bootstrap Bagging AdaBoost简介
Great haste makes great waste
05-09 1万+
集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种极其学习方法。简单地说，就是通过抽样等方式从原始数据集构造m个训练集，再选择一个弱分类器（比如决策树）对这些训练集进行训练得到m个分类器，在待分类数据进行分类时，同时使用这m个分类器去判断，使用多数表决或者权重联合的方式综合这m个分类器给出的分类结果，得到最终结果。就好比是：原始数据是一堆
区分bootstrap、bagging、boosting和adaboost
Alex.W.的机器学习之路
02-15 1万+
前言： bootstrap、bagging、boosting和adaboost是机器学习中几种常用的重采样方法。其中bootstrap重采样方法主要用于统计量的估计，bagging、boosting 和 adaboost方法则主要用于多个子分类器的组合。 一、bootstrap:估计统计量的重采样方法    bootstrap方法是从大小为n的原始训练数据集D\mathcal{D}中随机选择n个
bagging和boosting的区别
火鸡哥
01-11 3022
bagging和boosting是提高监督式学习方法准确率的两种常用的集成方法。 1､bagging bagging即套袋法，是并行式的集成学习方法，随机森林是bagging的一种。 执行步骤: 1､从原始训练集中随机抽取小部分数据当作新的训练集。假设设定需要n个弱学习器，则需要抽取n次（放回抽样），得到n个训练集。 2､训练弱学习器。每个训练集训练出一个弱学习器，得到n个弱学习器。 3､预测。测...
Jackknife，Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting的区别
Xianling Mao的专栏
07-03 1万+
Jackknife，Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting 这些术语，我经常搞混淆，现在把它们放在一起，以示区别。(部分文字来自网络，由于是之前记的笔记，忘记来源了，特此向作者抱歉） Bootstraping: 名字来自成语“pull up by your own bootstr
分类器组合方法Bootstrap, Boosting, Bagging, 随机森林（一）
张张的专栏
06-06 2万+
首先，机器学习的一个重要假设就是样本的分布和总体的分布是一致的。 多分类器进行组合的目的是为了将弱分类器（单个分类器）集成为强分类器，提升对未知样本的分类准确率，（实验数据。。。） Bootstraping         名字来源于“Pull up your own bootstraps"，即”通过拉靴子让自己上升“，本意是”不可能发生的事情“，现在的意思变成”通过自己的努力，让事
“bootstrap”和“boosting”区别
最新发布
06-13
"Bootstrap"和"Boosting"是两个不同的概念。Bootstrap是一种用于估计统计量的重采样方法，而Boosting是一种集成学习方法，用于提高分类或回归算法的准确性。 具体来说，Bootstrap是从原始数据集中抽取多个具有放回...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值