集成学习三大思路

已于 2022-03-27 12:09:32 修改
阅读量1k 收藏 2
点赞数
分类专栏： 机器学习 文章标签： 集成学习
于 2022-03-26 22:43:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35090060/article/details/123765605
版权

集成学习

三大集成方法：

  • Bagging（同质分类器，并行训练，最终对多个弱学习器的结果进行投票或求均值的方式作为最终预测结果）
  • Boosting（同质分类器，顺序训练，后续学习器着重解决前者预测不准的样本，将多个弱学习器加权求和组合成一个强学习器，强学习器的预测结果作为最终预测结果）
  • Stacking（异质分类器，多个弱分类器并行训练，然后最后一层加一个神经网络对弱分类器的结果进行总结，输出一个最终预测结果）

Bagging

简书
知乎

分类问题：投票法（过半数法、相对多数、阈值）
回归问题：均值法（算术平均、加权平均）

典型例子：决策森林

Boosting

Xgboost和Boosting-知乎
典型算法：AdaBoost、AdaBoost.M1、AdaBoost.M2、GBDT/GBRT、Adaboost、XGBoost、LightGBM

Stacking

简书

waiting&fighting
关注
专栏目录
机器学习分类算法之随机森林（集成学习算法）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
02-11 7373
目录 什么是集成学习？ 随机森林 随机森林的生成算法 随机森林的随机性 随机森林的优势 随机森林的参数详解 随机森林模型提高方法 最大特征数（max_features） 子树的数量（n_estimators）最重要的 最大深度（max_depth） 内部节点再划分所需最小样本数（min_samples_split） 叶子节点最少样本数（min_samples_leaf） 叶子节点最小的样本权重（min_weight_fraction_leaf） 最大叶子节点数（max_leaf.
【机器学习】集成学习(一)----基本思想和方法
花丸大老师的博客
04-03 4738
集成学习可谓是机器学习中的大杀器，诸如GBDT(梯度提升树)，RF(随机森林)这些算法都是用到了集成学习的思想。这一篇主要就是复习一下Boosting，Bagging和Stacking这三种方法和常用的结合策略。 集成学习(Ensemble Learning) 也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committee-based lear...
集成学习思想
江湖人的博客
01-19 2006
一、集成学习（Ensemble Learning） 集成学习的思想是将若干个学习器（分类器&回归器）组合之后产生一个新的学习器。 集成学习的主要思想： 1、Bagging：代表算法是随机森林（Random Forest） 2、Boosting：代表算法是AdaBoost、GBDT 3、Stacking：由于深度学习的发展，现已基本不用 为什么要用集成学习？ 弱学习器之间存在一定差异，这会...
集成学习(“森林书”)之三大集成方法Boosting、Bagging、Stacking
xylbill97的博客
09-26 2332
最近入手了周志华老师的《集成学习：基础与算法》一书，对书中介绍的目前常用的三大集成方法Boosting、Bagging、Stacking进行了学习。这篇博客主要是对这三大集成思想的一些总结，不涉及理论层面的推导。
集成学习-面试思路
YM的博客
07-16 302
集成学习直观上来说达到了三个臭皮匠能抵一个诸葛亮的效果，从机器学习的角度来说，集成学习融合了特征转换和正则化两个特点，通常的机器学习模型只能注重一点，这也是集成学习能达到不错的效果的原因。通常来说要求基学习器都“还行”而且方差尽量大。。 首先最容易想到的方法就是average，如果是分类任务，就vote；如果是回归任务，取平均(证明)，虽然简单但效果通常不错。考虑到不...
集成学习概述
最新发布
m0_59100129的博客
07-26 1541
Bagging基本流程：通过上述自助采样，采出T个含m个训练样本的采样集，然后基于每个采样集训练出一个基学习器，在将这些基学习器进行组合。在对预测输出进行结合的时候，Bagging通常对分类任务使用简单投票法，对回归任务进行简单的平均法。但是如果投票个数一致，则最简单的做法是随机选择一个类别，当然也可以进一步考察学习器投票的置信度来确定最终的分类。分类任务采用简单投票法：即每个基学习器一票回归问题使用简单平均法：即每个基学习器的预测值取平均值基本分类器可以是决策树，逻辑回归等基分类器。
集成学习概览_Bagging与Boosting1
08-03
Bagging（Bootstrap Aggregating）是一种常用的集成学习方法，其思路是对训练集进行多次重新采样，组成多个训练子集，每个训练子集独立训练出一个分类器，最后将所有分类器的结果进行预测。在整合预测结果时，通常对...
数据挖掘学习——集成学习（classifier combination）
weixin_52135595的博客
09-06 1368
多个基模型对数据集进行学习，并分别输出结果，然后集成学习模型再通过一定的方法将这些结果进行整合，最终形成集成学习模型的结果。这里用的是上上篇中的代码进行修改的，可以看到，相比于使用单个高斯朴素贝叶斯分器进行训练，用随机森林训练出来的模型准确率更高。获得最多票数的类别为集成模型的输出类别（若有多个类别获得相同的最高票，则随机从这些类别中选取一个作为最终的输出。（是投票法的一种特殊形式，加权投票法中，不同的基模型投票的权力大小是不一样的aaaaa）（随机森林中，较多的决策树基模型可以获得较好的预测效果）
集成学习之AdaBoost算法
qq_38375203的博客
05-16 1112
前言 写完GBDT就一直想要写一下有关集成学习的内容，也是给自己一个刨根问底的机会，那么就从这篇文章开刀吧，这一章节公式几乎没有，也不会过多的去解读公式的含义，只需要让大家能够理解集成学习的东西。能够将这种算法融入到自己的心中去，还是说希望大家也不要太深究这些公式，有些时候，这些公式只是给算法一个更为合理的解释，理解这个算法背后的原理和应用其实对大部分朋友来说更尤为重要，当然了有能力的朋友看懂公式也是超重要的。 一、Adaboost原理 集成算法是很强大的，就比如很火的xgboost，lightgbm
大规模的数据集成的两种思路
09-23
大规模的数据集成的两种思路，全面论述数据集成的核心操作理念。
机器学习| 面试题：02、三种主要集成学习思想简介
Mrrunsen的博客
09-12 283
集成学习 集成学习通过训练多个分类器，然后将其组合起来，从而达到更好的预测性能，提高分类器的泛化能力。 目前集成学习有３个主要框架：bagging、boosting、stacking。 bagging套袋法 bagging是并行集成学习方法的最著名代表，其算法过程如下： 从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独立的） 每次使
集成学习
weixin_43758551的博客
02-26 737
集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。一般情况下，集成学习中的多个学习器都是同质的"弱学习器"。 集成学习的主要思路是先通过一定的规则生成多个学习器，再采用某种集成策略进行组合，最后综合判断输出最终结果。一般而言，通常所说的集成学习中的多个学习器都是同质的"弱学习器&am
集成学习—Boosting，Bagging，Stacking概述
weixin_42907809的博客
09-01 440
自助法（bootstrapping）：现有数据集DDD，包含nnn个样本。从DDD中有放回地抽取nnn个样本，形成训练集D′D′D^\prime。那么肯定DDD中有一部分样本在D′D′D^\prime中重复出现，另一部分样本在D′D′D^\prime中从未出现。我们知道某样本一次也不被抽到的概率为（1−1n）n（1−1n）n（1-\frac{1}{n}）^n，当nnn很大时，取极限： limn→...
集成学习（Bagging、Boosting、Stacking）算法原理与算法步骤
you_just_look的博客
06-03 4965
略
集成学习boosting、bagging、stacking
weixin_63016274的博客
03-06 1283
集成学习 boosting bagging stacking
集成学习思想总结-bagging,boosting,stacking
changdejie的专栏
01-30 597
基本理论 Bagging（套袋法） bagging的算法过程如下： 从原始样本集中使用Bootstraping方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集。（k个训练集之间相互独立，元素可以有重复） 对于k个训练集，我们训练k个模型（这k个模型可以根据具体问题而定，比如决策树，knn等） 对于分类问题：由投票表决产生分类结果；对于回归问题：由k个模型预测结果的均值作为最后...
机器学习之集成学习
sophiezjz的博客
11-14 975
  一、集成学习概述 集成学习（Ensemble Learning）有时也被称为多分类器系统（multi-classfier system），是指将多个个体学习器集成或组合在一起，共同完成学习任务，现在已经被广泛用于分类和回归任务中。 集成学习的思想来源于“三个臭皮匠赛过诸葛亮”：使用一些（不同的）方法改变原始训练样本的分布，从而构建多个不同的分类器，并将这些分类器线性组合得到一个更强大的分...
集成学习简介
带鱼工作室的博客
12-01 298
集成学习介绍： 集成学习本身并不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务，以达到获得比单个学习器更好的学习效果的一种机器学习方法。高端点的说叫“博彩众长”，庸俗的说叫“三个臭皮匠，顶个诸葛亮”。 集成学习思路：在对新的实例进行分类的时候，把若干个单个分类器集成起来，通过对多个分类器的分类结果进行某种组合来决定最终的分类，以取得比单个分类器更好的性能。如果把单个分...
集成学习：bagging、boosting与AdaBoost深度解析
集成学习中的Bagging、Boosting和AdaBoost是三种重要的策略： 1. **Bagging（Bootstrap Aggregating）**： Bagging是通过数据的随机子采样（有放回采样）来创建多个训练集，然后对每个训练集独立训练一个基学习器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值