【机器学习期末总结】9-集成学习

最新推荐文章于 2023-02-25 16:29:11 发布
最新推荐文章于 2023-02-25 16:29:11 发布
阅读量371 收藏 2
点赞数
分类专栏： 机器学习 文章标签： 集成学习 python
原文链接：https://mooc2-ans.chaoxing.com/mycourse/stu?courseid=215257697&clazzid=65333660&cpi=260393217&enc=e21c700f8c3be42a0eba8f92acbf83f9&t=1670245169480&pageHeader=3&v=0
版权

Bagging
Boosting
Stacking

个体与集成

在这里插入图片描述

组合必杀技

在这里插入图片描述

组合一定比单个好吗？

在这里插入图片描述

Bagging

在这里插入图片描述

Bagging算法

在这里插入图片描述

Bagging算法特点时间复杂度低

  • 假定基学习器的计算复杂度为O(m)，采样与投票/平均过程的复杂度为O(s)，则bagging的复杂度大致为T(O(m)+O(s))
  • 由于O(s)很小且T是一个不大的常数
  • 因此训练一个bagging集成与直接使用基学习器的复杂度同阶

比较

在这里插入图片描述

包外估计Out-of-Bag Evaluation

  • 对于任意给定的预测器，使用bagging，有些实例可能会被采样多次，而有些实例则可能根本不被采样
  • 对每个预测器来说，平均只对63.2%的训练实例进行采样
  • 剩余36.8%未被采样的训练实例称为包外(oob)实例
    在这里插入图片描述
    在这里插入图片描述

Bagging与随机森林-随机森林

在这里插入图片描述

Scikit-learn中的random forest

见官方文档

Boosting

在这里插入图片描述
在这里插入图片描述

Boosting算法

在这里插入图片描述

AdaBoost算法

在这里插入图片描述

Scikit-learn中的Adaboost

见官方文档

AdaBoost算法的训练误差分析

在这里插入图片描述

*AdaBoost算法是前向分步算法的特例

在这里插入图片描述
在这里插入图片描述

*前向分步算法

在这里插入图片描述

提升树Boosting Tree

  • 以分类树或回归树为基本分类器的提升方法
    对于分类问题，决策树是二叉分类树
    对于回归问题，决策树是二叉回归树

  • 对于二类分类问题，提升树算法只需将AdaBoost算法中的基本分类器限制为二类分类树即可

回归问题的提升树

在这里插入图片描述

回归问题的提升树算法

在这里插入图片描述

GBDT（Gradient Boosting Decision Tree）

  • 分类任务 sklearn.ensemble.GradientBoostingClassifier
  • 回归任务 sklearn.ensemble.GradientBoostingRegressor

*SOTA

XGBoost: eXtreme Gradient Boosting

结合策略

结合策略（回归问题）– 平均法

在这里插入图片描述

结合策略（分类问题）– 投票法

在这里插入图片描述

结合策略 – 学习法在这里插入图片描述

在这里插入图片描述

多样性

多样性度量

在这里插入图片描述

多样性

在这里插入图片描述

多样性增强

  • 常见的增强个体学习器的多样性的方法
    数据样本扰动
    输入属性扰动
    输出表示扰动
    算法参数扰动

数据样本扰动

  • 数据样本扰动通常是基于采样法
    Bagging中的自助采样法
    Adaboost中的序列采样

  • 对数据样本的扰动敏感的基学习器(不稳定基学习器)
    决策树，神经网络等

  • 对数据样本的扰动不敏感的基学习器(稳定基学习器)
    线性学习器，支持向量机，朴素贝叶斯，k近邻等

数据样本扰动对“不稳定基学习器”很有效

输入属性（特征）扰动

在这里插入图片描述

输出表示扰动

  • 翻转法(Flipping Output)
    随机改变一些训练样本的类标记

算法参数扰动

  • 基本思路
    调整基学习器中需要人为设置的参数
    如神经网络的隐层神经元数、初始连接权值
  • 负相关法
    显式的通过正则化项来强制个体神经网络使用不同的参数

混合扰动

  • 不同的多样性增强机制同时使用
  • 如随机森林同时使用了数据样本扰动和输入属性扰动

Scikit-learn中的ensemble

见官方文档

malo12
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
2017-2018_2机器学习期末考点总结
Zikade0627的博客
07-07 6354
1 概述交叉验证的使用：模型评价、超参数（阈值）优选，保证数据集同分布留一法交叉验证——MAE平均绝对误差 评价MAE（2 P68）实值函数回归2 KNN模型KNNStep1 预处理 x估计=x-μ/σ 并且记录{μ(k),σ(k),k=1,2,3,4}  平均错误率、标准差    Step2 选K值  KNN中的K m-fold（v）        2 p21 错误率最小的，作为最终的K，对样本...
【国科大-模式识别与机器学习-黄庆明】2015-2020 考试题目总结
03-19
绝对良心！按照考点整理了【2015-2020】年的【考点和练习题】。 考点包括贝叶斯判别，线性判别，K-L变换，统计学习概论，聚类和降维，SVM，Logistic回归，概率图，NN，集成学习。
机器学习期末总结思维导图
12-29
机器学习期末复习总结
《机器学习》学习笔记（七）——集成学习
闭关修炼——暂退
06-19 1255
机器学习(Machine Learning)是一门多学科交叉专业，涵盖概率论知识，统计学知识以及复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式， 并将现有内容进行知识结构划分来有效提高学习效率。本专栏将以学习笔记形式对《机器学习》的重点基础知识进行总结整理，欢迎大家一起学习交流！专栏链接：《机器学习》学习笔记 个体与集成 集成学习(ensemble learning)通过构建并结合多个学习器来提升性能。 考虑一个简单的例子，在二分类问题...
机器学习期末复习总结
归尘的博客
06-13 3041
期末复习
机器学习【期末复习总结】——知识点和算法例题（详细整理）
热门推荐
Ax的博客
12-08 3万+
【电子科技大学、机器学习课程】（期末复习、知识点和算法例题、详细总结）
期末复习--机器学习总结（全）
Zsusan7的博客
12-20 4698
数据挖掘的定义？ 数据挖掘是指从大量的、随机的、不完全的、有噪声的、模糊的应用数据中，提取出潜在有价值的信息，该过程自动完成，信息的表现形式可以为规则、概念、模型、模式等。 知识发现的过程？ 确定知识发现的目标 数据采集 数据探索 数据预处理 数据挖掘 模式评估 数据挖掘任务主要集中在哪些方面（也叫数据挖掘的模式类型）？哪些是预测性任务，哪些是描述性任务？ 主要集中在回归、分类、预测、关联、聚类、异常检测6个方面，前3个是预测性，后3个是描述性 pandas两种核心数据结构 一维数据结构Series，二
机器学习期末复习-分题型
最新发布
06-08
标题：机器学习期末全攻略 - 题型精讲与答题策略-PDF+Notability 内容概要： 精心编纂的本复习资料，旨在为期末考试的机器学习科目提供全方位的题型解析与答题指导。内容覆盖了监督学习、非监督学习、强化学习等领域...
机器学习期末复习题.pdf
01-06
机器学习期末复习题库 机器学习是人工智能领域中的一门重要学科，涉及到各种算法和技术，以下是机器学习期末复习题库的详细解析： 监督学习和无监督学习 监督学习是指在有标签的数据集上训练模型，以便在未来的...
机器学习期末复习题选择题库
12-09
机器学习期末复习题选择题库 本资源摘要信息涵盖了机器学习、数据挖掘、数据分析、数据处理和展示等多个方面的知识点，旨在帮助学习者快速回顾和巩固相关知识。下面是对每个问题的解析和知识点总结： 1. 知识发现...
西瓜书机器学习的学习笔记（十分详细）
06-10
学习了机器学习的基础以及相关理论，颇有收获，并做了相关笔记，对于机器学习有了更为深入的理解，为以后的学习以及研究打下基础。 主要内容包含以下相关主题： - 模型的评估与选择 - 神经网络 - 支持向量机 - ...
中科大机器学习期末试卷
01-18
中科大机器学习期末试卷，13年，16年，17年三张试卷。
机器学习期末考试题库（大题问答）七月在线总结.pdf
12-29
研究生本科生机器学习课程考试题库总结，题目难度均为期末考试所能涉及。up主是软件研究生，和同学一起整理了，课程考试考到了绝大多数内容，复习效果绝佳。如能合你的口味，请点赞鼓励原创。
【sklearn第十讲】支持向量机之回归篇
wong2016的博客
06-14 2万+
机器学习训练营——机器学习爱好者的自由交流空间（qq 群号：696721295） 回归 支持向量分类的方法能被推广到解决回归问题，称为支持向量回归。由支持向量分类产生的模型仅依赖训练数据的子集，因为创建模型的代价函数并不考虑超过边界的训练点。类似地，由支持向量回归产生的模型仅依赖训练数据的子集，因为创建模型的代价函数忽略任何接近模型预测的训练数据。支持向量回归有三个不同的执行版本：SV...
小白的集成学习之路——Bagging学习
weixin_39800983的博客
04-17 958
Bagging 前提说明：本文是在我学习集成学习时的浅显总结，由于个人水平暂时有限，故基本没有推导与公式过程，可能部分内容还存在错误的理解，请谅解。 一、含义 Bagging是（bootstrap aggregation）的缩写，并不是Bag的动名词形式。Bootstraping的名称来自于成语 ‘’pull up by your own bootstraps‘’， 意思是依靠你自己的资源，称为自助法，它是一种有放回的抽样方法。可以看到，Bagging的两个关键词分别是“自助”和“聚合”。通过以上分析，我把
算法工程师面试问答_机器学习算法_MachineLearningAlgorithm
suli77的博客
02-25 575
算法工程师面试问答_机器学习算法_MachineLearningAlgorithm
深入理解机器学习——集成学习（Ensemble Learning）：袋装法Bagging
冯·诺依曼
11-07 1万+
我们在《集成学习（一）：基础知识》中提到，欲得到泛化性能强的集成，集成中的个体学习器应尽可能相互独立；虽然“独立”在现实任务中无法做到，但可以设法使基学习器尽可能具有较大的差异。 给定一个训练数据集，一种可能的做法是对训练样本进行采样，产生出若干个不同的子集，再从每个数据子集中训练出一个基学习器。这样，由于训练数据不同，我们获得的基学习器可望具有比较大的差异。然而，为获得好的集成，我们同时还希望个体学习器不能太差。如果采样出的每个子集都完全不同，则每个基学习器只用到了一小部分训练数据，甚至不足以进行有效学习
DataWhale集成学习Task8--Bagging的原理和案例分析
程序猿请来的救兵
04-17 169
文章目录bagging法的思路bagging原理分析bagging实战案例Bagging的补充知识Bagging的优点Bagging的缺点Bagging分类简单应用Bagging回归简单应用 bagging法的思路 上一节提到了投票法，它通过多个模型的集成来降低方差，提高模型的鲁棒性；而bagging和投票法不一样的地方在于Bagging不仅仅集成模型最后的预测结果，同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。在上一章中我们提到，希望各个模型之间具有较大的差异性，而在实际操作中的模型却往
【吴恩达机器学习笔记】十、支持向量机
Newin2020的博客
12-03 825
📣专栏定位：为学习吴恩达机器学习视频的同学提供的随堂笔记。📚专栏简介：在这个专栏，我将整理吴恩达机器学习视频的所有内容的笔记，方便大家参考学习。
机器学习实战 基于scikit-learn pdf
12-24
《机器学习实战》基于scikit-learn是一本深入介绍机器学习技术并通过实际案例演示如何应用scikit-learn库的书籍。scikit-learn是一个功能强大的Python机器学习库，提供了丰富的工具和算法，能够帮助开发者快速构建和部署机器学习模型。这本书通过系统的介绍，从机器学习基础知识到高级应用，循序渐进地引导读者了解和掌握scikit-learn的用法。 本书的特点之一是通过实战案例帮助读者理解和掌握机器学习技术。通过实际数据集和问题，读者可以跟随书中的示例代码，了解如何使用scikit-learn库进行数据预处理、特征工程、模型选择和评估等工作。此外，本书还介绍了一些常用的机器学习算法，如回归、分类、聚类等，读者可以通过实例了解这些算法的原理和应用。 另一个特点是本书的全面性和系统性。作者对机器学习的基础知识和scikit-learn库的使用进行了详细的展开，包括数据探索、模型评估、特征选择等方面的内容。读者可以通过本书系统学习机器学习的各个环节，并在实际项目中应用这些知识。 总的来说，《机器学习实战》基于scikit-learn是一本适合初学者和进阶者的实用书籍。通过本书的学习，读者能够全面了解和掌握scikit-learn库的使用方法，对机器学习技术有更深入的理解，能够在实际项目中应用所学知识。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值