Bagging和Pasting

最新推荐文章于 2022-12-11 11:57:23 发布
最新推荐文章于 2022-12-11 11:57:23 发布
阅读量254 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Thumb_/article/details/113276279
版权

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述同样实验前加载和上一节相同的数据集

#%% 使用Bagging

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import BaggingClassifier

bagging_clf = BaggingClassifier(DecisionTreeClassifier(),   #使用决策树模型
                                n_estimators=500,max_samples=100,  # 集成500个决策树这样的子模型，每个子模型要看100个样本数
                                bootstrap=True)   # 选择 True ,放回取样

bagging_clf.fit(X_train,y_train)
bagging_clf.score(X_test,y_test)

结果：0.872

修改参数

bagging_clf2 = BaggingClassifier(DecisionTreeClassifier(),
                                n_estimators=5000,max_samples=100,  # 集成500个决策树这样的子模型，每个子模型要看100个样本数
                                bootstrap=True)   # 选择 True ,放回取样

bagging_clf2.fit(X_train,y_train)
bagging_clf2.score(X_test,y_test)

结果：0.872

_卷心菜_
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
集成学习-Bagging和Pasting
huobumingbai1234的博客
04-05 1868
一、Bagging和Pasting 上一节说到了集成学习的Voting，基于投票的集成学习就集成了几个分类器的结果，相对来说不是很多，我们需要更多的模型，也就是投票的人更多，且这些模型之间不一样，使得我们的模型更为健壮。 我们可以让每个子模型只看数据的一部分，算法可以使用同一个；使用一部分数据会使得单个模型准确率降低，但是这些模型结合起来效果...
6.0 —随机森林原理（RF）和集成学习（Bagging和Pasting）
u013153465的博客
07-20 614
我们这边先介绍集成学习 什么是集成学习 我们已经学习了很多机器学习的算法。比如KNN,SVM.逻辑回归，线性回归，贝叶斯，神经网络等等，而我们的集成学习就是针对某一个问题，我们使用多个我们已经学过的算法，每个算法都会得出一个结果。然后采用投票的方法，少数服从多数，得出最终结果。这就是voting classifier 我们看下代码： 我们手写的集成学习方法，和scikit-learn ...
ML - 集成算法
小田的笔记簿
04-03 212
文章目录一、什么是集成学习二、算法介绍1、Hard & Soft Voting创建更多子模型2、Bagging 和 PastingOOB并行计算差异化随机森林Extra-Trees3、BoostingAda BoostingGradient Boosting4、Stacking如何训练 Stacking 一、什么是集成学习 综合多方面的意见来做出决策。 比如：买东西推荐、专家会诊疾病。 根据各种算法做出决策：KNN，逻辑回归，SVM，决策树，神经网络，贝叶斯； sklearn 中提供的方法称为 V
92-Bagging和Pasting
qq_41033011的博客
10-24 346
Bagging 和 Pasting      之前介绍了什么是集成学习，其实就是集成多个算法对同一组数据进行分析得到结果，最终投票来看哪个结果是大家公认的最好的结果。但是这样的机器学习还是有一个问题，虽然有很多机器学习的方法，但是从投票的角度来看，仍然是不够多的。如果我们想要尽量保证一个好的结果的话，我们希望有更多的投票者（成百上千甚至上万）才能保证最终的结果更加的可信。所以我们就要创建更多的子模型，集成更多的子模型的意见，而且子模型之间不能一致，要具有差异性。      那么怎样才能创建出更多的子模型，而
Python3入门机器学习之11.2 Bagging和Pasting
qq_42686927的博客
07-22 265
Python3入门机器学习 11.2 Bagging和Pasting 集成学习就是集成多个算法，让不同的算法对同一组数据进行分析得到结果，最终投票来看哪个结果是大家公认的更好的、更正确的结果。但是这样进行集成学习还是有问题，最大的问题就是：虽然有很多机器学习方法，但是从投票的角度看，仍然不够多。如果我们想保证有一个好的结果，我们希望有更多的投票者才能保证结果可信，类似于概率论里的大数定理。 所以，我们要创建更多的子模型，集成更多子模型的意见。更加重要的是子模型之间不能一致，也就是说子模型之间要有差异性。 怎
bagging算法
11-28
Bagging的策略： 从样本集中用Bootstrap采样选出n个样本 在所有属性上 对这n个样本建立分类器（CART or SVM or ） 重复以上两步m次 i e build m个分类器（CART or SVM or ） 将数据放在这m个分类器上跑 最后vote看...
bagging和随机森林1
08-03
Bagging 和随机森林算法 Bagging（Bootstrap Aggregating）和随机森林（Random Forest）是两种常用的机器学习算法，它们都是集成学习的方法，旨在提高模型的泛化性能和鲁棒性。 Bagging 算法 Bagging 算法的主要...
集成学习 (投票分类器 & bagging/pasting & RandomForest & Boosting)
soullines的博客
01-15 8082
集成学习 本文主要介绍 voting (投票学习器) bagging / pasting 3.随机森林 boosting 1.集成学习概述 1.1 概述 集成学习通过结合多个单一学习器,并聚合其预测结果的学习任务,也可以称作多分类系统等,下面是集成学习的概要图: 单一的学习器可以被称为个体学习器,聚合的过程对应结合模块 根据学习器是否一致可以分为 同质 和 异质 同质集成中的个体学习...
集成学习 hard/soft Voting,Bagging/Pasting,oob 随机森林
qq_45906101的博客
12-11 457
集成学习 hard/soft Voting,Bagging/Pasting,oob 随机森林
【机器学习】决策树与集成算法问题简单总结
weixin_44605171的博客
06-15 357
决策树算法既可以应用于分类任务也可以用于回归任务训练阶段：给定训练数据集中根据特征构建数测试阶段：根据构建好的树模型进行预测即可
bagging算法_机器学习100天-Day1802集成学习Bagging 和 Pasting
weixin_39715538的博客
11-27 123
说明：本文依据《Sklearn 与 TensorFlow 机器学习实用指南》完成，所有版权和解释权均归作者和翻译成员所有，我只是搬运和做注解。第六章集成学习和随机森林假设你去随机问很多人一个很复杂的问题，然后把它们的答案合并起来。通常情况下你会发现这个合并的答案比一个专家的答案要好。这就叫做群体智慧。 如果合并一组分类器的预测(像分类或者回归)，同样会得到一个比单一分类器更好的预测结果。这一组分类...
Machine Learning with Scikit-Learn and Tensorflow 7.2 Bagging和Pasting
qinhanmin2010的博客
04-05 1212
Hands-On Machine Learning with Scikit-Learn and Tensorflow
集成算法中的Bagging
weixin_30390075的博客
01-16 1618
Bagging meta-estimator 基本描述 在集成算法中，bagging 方法会在原始训练集的随机子集上构建一类黑盒估计器的多个实例，然后把这些估计器的预测结果结合起来形成最终的预测结果。 该方法通过在构建模型的过程中引入随机性，来减少基估计器的方差(例如，决策树)。 在多数情况下，bagging 方法提供了一种非常简单的方式来对单一模型进行改...
随机森林—bagging算法的代表作
You will~My hand
11-01 1905
随机森林 对于随机森林的理解看这篇博文 另外周志华《机器学习》8.3节对bagging和随机森林进行了比较好的总结。随机森林关键点： bagging方法，用重复采样的方式产生n个不同的样本集合，然后基于基分类器并行训练出n个模型，为了是降低模型的方差。 在bagging基础上，随机森林用决策树（不剪枝）做基分类器，对决策树的特征进行随机的采样，进一步的提高了模型抗过拟合能力。 随基分类器个
机器学习：集成学习（Bagging、Pasting）
ab1213456的博客
08-16 414
一、集成学习算法的问题 可参考：模型集成（Enxemble） 博主：独孤呆博 思路：集成多个算法，让不同的算法对同一组数据进行分析，得到结果，最终投票决定各个算法公认的最好的结果； 弊端：虽然有很多机器学习的算法，但是从投票的角度看，仍然不够多；如果想要有效果更好的投票结果，最好有更多的算法参与；（概率论中称大数定理） 方案：创建更多的子模型，...
【数据挖掘】【笔记】之sklearn.ensemble
moshlwx的博客
06-25 1820
ensemble methods组合几个不同的模型结果以增强泛化能力和鲁棒性。 In averaging methods, 原则是建立几个独立的模型，对结果取均值，可以降低方差（取均值可降低方差的原因：平均可以平滑曲线）Examples: Bagging methods, Forests of randomized trees, … By contrast, in boosting methods,
关于集成学习的总结（二） Bagging思想
PythonstartL的博客
10-13 3554
Bagging 方法 本篇博客的关于随机森林的优缺点参考了https://blog.csdn.net/zhongjunlang/article/details/79488955 来自上篇投票法的启示，我们想要得到泛化性较强的集成，集成中的分类器应尽可能的相互独立。这个独立可能显示任务中很难做到，于是人们设法给基学习器较大的差异，那么怎么做呢？一种可能的方法就是对基分类器进行采样，让他产生不同的...
Bagging（并行式集成学习方法代表）和随机森林（Bagging的一个扩展变体）
算法小白
12-23 2707
一、Bagging （1）基本思想 初始训练集包含m个样本，自助采样法采用有放回抽样，合理性保证：   ，即至少有近三分之一的初始训练样本不出现在训练样本子集中。   通过自助采样法采样出T个含m个样本的训练子集，然后在T个训练子集上训练T个基学习器，在组合这些基学习器，称为Bagging。 （2）预测输出 分类—投票法，若遇到同票情形，随机选取或进一步考察学习器投票置信度来决定分类...
机器学习实战(用Scikit-learn和TensorFlow进行机器学习)(八)
fjl_CSDN的博客
01-11 3113
上一节讲了决策树算法，虽然存在一些局限性，但是正是这种局限性造就了集成学习中的随机森林算法。 八、集成学习与随机森林  假设要解决一个复杂的问题，让众多学生去回答，然后汇总他们的答案。在许多情况下，会发现这个汇总的答案比一个老师的答案要好。同样，如果汇总了一组预测变量（例如分类器或回归因子）的预测结果，则通常会得到比最佳个体预测变量得到更好的预测结果。这种技术被称为集成学习（Ensembl
bagging和pasting
最新发布
05-03
Bagging（bootstrap aggregating）和Pasting是两种常见的集成学习方法，都是通过将多个模型的预测结果进行结合来提高预测性能。 Bagging是一种基于bootstrap采样的集成学习方法，它通过对训练数据进行有放回的采样...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值