＜机器学习＞＜详解＞Ensemble 集成学习算法

最新推荐文章于 2024-09-10 19:28:20 发布
最新推荐文章于 2024-09-10 19:28:20 发布
阅读量1.9k 收藏 16
点赞数 3
文章标签： 算法 机器学习 sklearn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/recowng/article/details/120374901
版权
集成学习Ensemble通过结合多个基分类器的预测，如KNN、朴素贝叶斯和逻辑回归，实现更优的分类效果。通过投票或加权投票决定最终结果，其中基分类器应具有良好性能且相互独立。Bagging和Boosting是两种常用策略，前者通过随机子集创建分类器，后者迭代改进难以分类的样本。AdaBoost是Boosting的一种，而随机森林通过随机特征子集构建决策树，降低相关性并提高整体准确性。
摘要由CSDN通过智能技术生成

Ensemble 集成学习

什么是集成学习思想？

  1. 将多个分类器的预测结果结合起来
  2. 用来组合的分类器叫做 基分类器(base classifiers)
  3. Ensembles通常比组成他的基分类器效果好
  4. 我们使用投票(少数服从多数)或加权投票来决定最终结果

Example:

  1. 训练KNN，朴素贝叶斯，逻辑回归这三种分类器

  2. 对一个新样本分类时，结合三个分类器的结果，少

    数服从多数

集成学习的错误率:

  • 当一个ensemble由25个相同的基分类器组成，那么 他的错误率就等于基分类器的错误率.

  • 当一个ensemble由25个不同的基分类器组成，那么 只有当超过半数的基分类器都错误的情况下，他才 会预测错误
    请添加图片描述

让集成学习效果更好:

  1. 基分类器需要表现良好，即他的错误率低于0.5
  2. 基分类器之间相互独立
    • 不可能保证完全相互独立
    • 在基分类器相关性较低的情况下，集成学习就可以获得不错的表现
  3. 好的ensemble需要多种多样的并且效果良好的基类器组成

如何在基分类器之间产生不一致(独立性):

    最低0.47元/天 解锁文章
    reco_blog
    关注
    模式识别和机器学习实战- 集成学习- Python实现 - AdaBoost算法
    04-05
    通过以上文件，初学者可以了解和实践如何在Python中实现AdaBoost算法，从而增强对模式识别和机器学习的理解，特别是集成学习的应用。此外，这也有助于探索不同数据集的特点，提升数据预处理和模型调优的技能。
    人工智能/机器学习基础知识——集成学习（Ensemble）
    WindGrin_的博客
    04-13 696
    人工智能/机器学习基础知识——集成学习（Ensemble）
    Ensemble算法
    AAAAAAAKing的博客
    03-26 3170
    What's up everybody, welcome back to my channel! hi，how are ya ! 上周跟大家分享了随机森林算法的应用，这周我准备把Ensemble算法原理跟大家分享一下（有些地方会解释的不太清楚，见谅 ），主要参考的是台大李宏毅教授的机器学习课程。李宏毅教授讲机器学习和深度学习课程个人认为还是非常不错的，如果各位感兴趣的话可以直接去搜索一下。 ...
    机器学习算法——集成学习
    weixin_67870062的博客
    07-28 310
    【代码】机器学习算法——集成学习。
    集成学习(Ensemble)算法介绍
    haoran_yang的博客
    10-25 2602
    Ensemble Model Bagging和Boosting都算是Bootstraping的应用。Bootstraping的概念是对样本每次有放回的抽样，抽样K个，一共抽N次。 Bagging：每次从总体样本中随机抽取K个样本来训练模型（有放回），重复N次，得到N个模型（++独立构建++），然后将各个模型结果合并，分类问题投票方式结合，回归则是取平均值,e.g.Random Forest。...
    集成学习（Ensembles）
    nine_mink的博客
    04-24 1760
    本文将基于UoA的课件介绍机器学习中的集成学习。涉及的英语比较基础，所以为节省时间（不是full-time，还有其他三门课程，所以时间还是比较紧的），只在我以为需要解释的地方进行解释。此文不用于任何商业用途，仅仅是个人学习过程笔记以及心得体会，侵必删。AdaBoost算法的训练过程会不断增加那些被之前的分类器错分的样本的权重，这样最后一些分类器就会更关注那些难以分类的样本，从而提高整个模型的泛化能力。
    EE4408: Machine Learning:
    weixin_44784470的博客
    01-02 2462
    #########更新完成########################## 目录 EE4408: Machine Learning:
    机器学习21：Ensemble
    wcx0602的博客
    06-26 1047
    这部分主要介绍Ensemble的方法 为什么我们需要Ensemble的方法 在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。 常见的Ensemble方法 Ensemble一般有下面的bagging、boosti
    Python理解机器学习之随机森林算法.pdf
    05-18
    随机森林算法作为一种强大的集成学习方法，在众多机器学习任务中都表现出了优秀的性能。它不仅易于实现，而且能够处理高维数据和复杂的非线性关系。然而，其模型解释性较差，在某些情况下训练时间较长。因此，在实际...
    机器学习-AdaBoost算法
    01-04
    AdaBoost算法是一种强大的机器学习工具，尤其适用于处理复杂数据和分类任务。通过结合多个弱分类器，它可以产生一个性能优秀的强分类器。在Python中，Scikit-Learn库提供了一种简洁的方式实现AdaBoost，便于在实际...
    机器学习笔记整理
    04-18
    ### 机器学习基础知识详解 #### 一、学习方法概述 机器学习主要分为监督学习、无监督学习、半监督学习和强化学习四大类。本部分主要介绍监督学习与无监督学习中的几种常见方法。 ##### 二分类 二分类是机器学习中...
    AdaBoost_机器学习_
    09-29
    **AdaBoost机器学习算法详解** AdaBoost（Adaptive Boosting）是一种集成学习方法，它通过迭代的方式组合多个弱分类器，形成一个强分类器。在每次迭代中，AdaBoost会针对上一轮分类错误的样本给予更高的权重，使得...
    Ensemble几种方式原理
    owenfy的博客
    03-12 1万+
    kaggle-ensembling guideblendnigstacking代码模型融合接口常见的 Ensemble 方法有这么几种：Bagging：使用训练数据的不同随机子集来训练每个 Base Model，最后进行每个 Base Model 权重相同的 Vote。也即 Random Forest 的原理。Boosting：迭代地训练 Base Model，每次根据上一个迭代中预测错误的情况修...
    集成(Ensemble)学习_原理
    zhaodeming000的博客
    05-26 703
    集成学习 从线性规划、多元线性回归、决策树、支持向量机SVM，都是单一的、独立的。 ==集成学习：==组合多个学习器，得到一个更好的学习器； 集成学习 1.个体学习器之间不存在强依赖关系，装袋（bagging） 2.随机森林（Random Forest） 3.个体学习器之间存在强依赖关系，提升（boosting） 4.Stacking ...
    大模型 | 快速学会集成学习算法（Ensemble Methods）
    最新发布
    老皮的博客
    09-10 718
    AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
    【机器学习】Ensemble Learning 集成学习 + Python代码实战
    热门推荐
    知不足而奋进，望远山而前行
    10-17 3万+
    Bagging模型：并行训练一堆分类器，然后对所有分类器的结果求平均作为最后的结果Bagging模型中最典型的代表是：随机森林随机：数据随机采样，特征选择随机森林：多个决策树并行放在一起跟上学考试一样，这次做错的题，需要额外注意，下次就不要做错了堆叠：很暴力，拿来一堆直接上（各种分类器都来了）可以堆叠各种各样的分类器（KNN、SVM、RF、神经网络等等）分阶段：第一阶段得出各自的结果，第二阶段再用前一阶段的结果训练为了刷结果，不择手段！
    Weka学习三（ensemble算法）
    aalbertini的专栏
    07-20 1410
    <br />前两次我们讲了数据挖掘中比较常见的两类方法。这次我来介绍一下ensemble（集成技术），总的来说，ensemble技术是归类在分类中的。它的主要原理是通过集成多个分类器的效果来达到提高分类效果的目的。简单我们可以通过两张图片来看看集成的效果：<br /><br /><br />图一为多个基分类器单独工作时的分类效果图。图二为集成分类器的分类效果。我们可以看到集成分类器的分类曲线明显会平滑的多。来个比喻，在一件事情的表决上面，一个人的意见与多个人的意见相比，往往是多个人的意见来的准确一些。这是大
    Bagging和Boosting 概念及区别
    06-30 852
    　　Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。 首先介绍Bootstraping，即自助法：它是一种有放回的抽样方法（可能抽到重复的样本）。 1、Bagging (bootstrap aggregating) Bagging即套袋法，其算法过程...
    [深度概念]·模型集成(Ensemble)解析
    简明AI工作室
    03-19 7795
    1模型集成(Ensemble) 曾经听过一句话，”Feature为主，Ensemble为后”。Feature决定了模型效果的上限，而Ensemble就是让你更接近这个上限。Ensemble讲究“好而不同”，不同是指模型的学习到的侧重面不一样。举个直观的例子，比如数学考试，A的函数题做的比B好，B的几何题做的比A好，那么他们合作完成的分数通常比他们各自单独完成的要高。 常见的Ensemble方法...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值