Bagging方法的基本思想

已于 2024-01-25 09:46:15 修改
阅读量420 收藏 8
点赞数 8
分类专栏： 机器学习 文章标签： 机器学习
于 2024-01-25 09:45:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43837522/article/details/135836196
版权

Bagging方法的基本思想实现

在Bagging集成当中，我们并行建立多个弱评估器（通常是决策树，也可以是其他非线性算法），并综合多个弱评估器的结果进行输出。当集成算法目标是回归任务时，集成算法的输出结果是弱评估器输出的结果的平均值，当集成算法的目标是分类任务时，集成算法的输出结果是弱评估器输出的结果少数服从多数。
在这里插入图片描述
eg：
（1）当集成算法是分类任务的时候

假设我们有10个弱评估器，对某个样本的判别（三分类， 0，1，2）情况如下：
在这里插入图片描述

那么我们如何少数服从多数呢？

1.用np.bincount计算每个数值出现的次数
在这里插入图片描述
2.用np.argmax返回最大值的索引，这里十分巧妙的是，索引的顺序是类别
在这里插入图片描述

如果是二分类，涉及到有一些负数类别的
在这里插入图片描述

如果评估器的数量是偶数，而少数和多数刚好一致怎么办？
在这里插入图片描述
（2）当集成算法是回归任务的时候
在这里插入图片描述

今天也要加油丫
关注
  • 8
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于集成学习的总结（二） Bagging思想
PythonstartL的博客
10-13 3510
Bagging 方法 本篇博客的关于随机森林的优缺点参考了https://blog.csdn.net/zhongjunlang/article/details/79488955 来自上篇投票法的启示，我们想要得到泛化性较强的集成，集成中的分类器应尽可能的相互独立。这个独立可能显示任务中很难做到，于是人们设法给基学习器较大的差异，那么怎么做呢？一种可能的方法就是对基分类器进行采样，让他产生不同的...
Bagging思想 代码实现.rar
03-17
集成学习Bagging思想：Bagging算法 + 随机森林算法 代码 PS：包含相关数据集
集成学习法之bagging方法和boosting方法
热门推荐
yip的个人博客
05-29 2万+
集成学习法之bagging方法和boosting方法
集成学习（中）Task08 Bagging的原理和案例分析
yutc0202的博客
04-17 279
1. 理论学习 1.1 bagging的思路 Bagging集成模型最后的预测结果， 同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。 通过不同的采样增加模型的差异性来使各个模型之间具有较大的差异性。 1.2 bagging的原理分析 1.2.1 Bagging的核心： 自助采样(bootstrap)，即有放回的从数据集中进行采样，也就是说，同样的一个样本可能被多次进行采样。 1.2.2 基本流程： 首先我们随机取出一个样本放入采样集合中，再把这个样本放回初始数据集，重复K次采样，最终我
Boosting方法的基本思路
weixin_47553017的博客
04-21 941
Boosting方法的基本思路前言Boosting方法的基本思路Adaboost算法案例 前言 在前面的学习中，我们探讨了一系列简单而实用的回归和分类模型，同时也探讨了如何使用集成学习家族中的Bagging思想去优化最终的模型。Bagging思想的实质是：通过Bootstrap 的方式对全样本数据集进行抽样得到抽样子集，对不同的子集使用同一种基本模型进行拟合，然后投票得出最终的预测。我们也从前面的探讨知道：Bagging主要通过降低方差的方式减少预测误差。那么，本章介绍的Boosting是与Baggin.
集成方法——Bagging
多头注意力探索Now
09-01 1137
拆分集成评估方法
01982086Tri-traing-by-myself_基本的bagging算法_
09-30
该程序用来随即生成N个样本集合， 从[1 n]随即取nb个数;可重复采样，抽取标号为以上nb个数的样本。
bagging算法
01-17
Bagging的策略： 从样本集中用Bootstrap采样选出n个样本 在所有属性上 对这n个样本建立分类器（CART or SVM or ） 重复以上两步m次 i e build m个分类器（CART or SVM or ） 将数据放在这m个分类器上跑 最后vote看...
使用 Adaboost 和 Bagging 方法的农业土壤分类和肥料推荐-研究论文
06-10
农业是绝大多数人工资的基本来源。 因此，农业学家一直对产量产生好奇。 为了提高产量，许多元素都能够发挥作用，例如土壤、气候、雨水、肥料和杀虫剂。 目前，数据挖掘已成为农业的关键部分。 农业大学可以获取的...
集成算法之Bagging基本原理和面试笔记整理
Lee_Yu_Rui的博客
07-10 1955
集成算法 集成算法 = 多个学习器 + 结合策略 产生强学习器的算法。单个学习器难以平衡准确性即拟合能力，和多样性 即 泛化能力。通过集成可以尽量平衡这两者的关系。如果多个学习器是一样的，如都是决策树，该集成就是同质集成，否者就是异质集成。同质集成中，每个单学习器称为弱学习器，如果若学习器之间的产生没有关系，可以并行实现，就是Bagging，如果弱学习器之间存在强依赖关系，就需要串行实现，如Boosting 方差（Bias）和偏差（Variances） 对于特定的带有真实结果y的数据集D，每个..
Lesson 9.1 集成学习的三大关键领域、Bagging 方法的基本思想和 RandomForestRegressor 的实现
每天进步一点点！
03-09 1187
【代码】Lesson 9.1 集成学习的三大关键领域、Bagging 方法的基本思想和 RandomForestRegressor 的实现。
集成学习——bagging原理及分析
面包猎人
04-17 1267
bagging原理   与投票法不同的是，Bagging不仅仅集成模型最后的预测结果，同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。在上一章中我们提到，希望各个模型之间具有较大的差异性，而在实际操作中的模型却往往是同质的，因此一个简单的思路是通过不同的采样增加模型的差异性。   Bagging的核心在于自助采样(bootstrap)这一概念，即有放回的从数据集中进行采样，也就是说，同样的一个样本可能被多次进行采样。一个自助采样的小例子是我们希望估计全国所有人口年龄的平均值，那么我们可以在全
机器学习数据表示为阵列
dc爱傲雪和技术
05-15 601
了解了如何使用 Python 访问和重塑 NumPy 数组中的数据。1.如何将列表数据转换为 NumPy 数组2.如何使用 Pythonic 索引和切片访问数据。3.如何调整数据大小以满足某些机器学习 API 的期望。
机器学习-----集成学习
djylovehzt的博客
05-15 886
Adaptive Boosting(自适应提升)基于Boosting思想实现的一种集成学习算法核心思想是通过逐步提高那些被钱一步分类错误的样本的权重来训练一个强分类器.弱分类器的性能比随机猜测强就行,即可构造出一个非常准确的强分类器.其特点是:训练时,样本具有权重,并且在训练过程中动态调整.被分错的样本的样本会加大权重,算法更加关注难分的样本。这种方法训练得到的模型复杂度较高，很容易出现过拟合。1.对特征值x进行排序.确定分裂点为:0.5,1.5,2.5,3.5,4.5,5.5,6.5,7.5,8.,5。
机器学习之集成学习
最新发布
Green_horn_new的博客
05-17 1066
仅是机器学习中一种思想，通过多种模型(算法)组合形成一个精度更高模型，参与组合模型称为弱学习器。2.根据更新数据集权重，来训练第2个弱学习器，再找最小的错误率计算模型权重，再更新模数据权重。结果大于0为正类，反之为负类。如果某节点不纯度(基尼系数，均方差)小于这个阈值，则该节点不在生成子节点，并变为叶子节点。迭代训练再前一个学习器基础上，根据新的样本权重训练当前学习器，直到训练出m个弱学习器。1.初始化数据权重，训练第一个弱学习器，找最小错误率计算模型权重，再更新模型数据权重。
EM算法与变分推断
huhubbdd的博客
05-14 736
通常而言，机器学习中需要解决的问题是由观察到的变量xxx来估计隐变量zzz的分布以及参数θ\thetaθ，也就是求解p(z∣x,θ)p(z|x,\theta)p(z∣x,θ)以及 θ\thetaθ用公式来表达，变量集合xxx的联合分布为p(x∣θ)=∏i=1N∫zp(xi,z∣θ)dzp(x|\theta)=\prod_{i=1}^N\int_zp(x_i,z|\theta)dzp(x∣θ)=i=1∏N​∫z​p(xi​,z∣θ)dz 则其对应的对数似然函数就为 ln⁡p(x∣θ)=ln⁡∏i=1Np(xi
梯度下降算法的实现【python，算法，机器学习】
xiangfeng666的博客
05-16 429
上述代码中，巧妙的利用矩阵乘法规则实现了求和计算，这样使得梯度计算更加简便，最后计算得出的(\theta0, \theta1)便是所求直线的参数。然后对这个代价函数求偏导数，根据偏导公式，进行迭代计算，当梯度下降到一定程度，完成计算，获取最后的。场景是一个简单的线性回归的例子：假设现在我们有一系列的点，我们将用梯度下降法来拟合出这条直线！首先，我们需要定义一个代价函数，在此我们选用均方误差代价函数。表示实测的数据集，你可以根据实际情况进行替换。
数据不平衡：使用其他机器学习方案，修改算法
llf000000的博客
05-14 125
神经网络在面对不均衡数据时，是束手无策的。有些机器学习方法，像决策树就不会受到不均衡数据的影响。
介绍bagging的基本思想
06-12
Bagging（Bootstrap aggregating）是一种集成学习（Ensemble Learning）方法，其基本思想是通过随机采样训练数据集，构建多个相互独立的基分类器（分类树、神经网络、SVM等），并将多个分类器的结果进行结合，通过...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值