第8章：集成学习

已于 2023-08-21 20:15:55 修改
阅读量491 收藏
点赞数
分类专栏： 机器学习 文章标签： 集成学习 机器学习 人工智能
于 2023-08-19 10:42:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54385104/article/details/132359291
版权

个体与集成

在这里插入图片描述

  • 同质：相同的基学习器，实现容易，但是很难保证差异性。
  • 异质：不同的基学习器，实现复杂，不同模型之间本来就存在差异性，但是很难直接比较不同模型的输出，需要复杂的配准方法。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
好而不同
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

boosting

在这里插入图片描述

在这里插入图片描述

Adaboost

在这里插入图片描述
在这里插入图片描述

求解h

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

求解alpha

在这里插入图片描述
在这里插入图片描述

bagging

在这里插入图片描述

随机森林

数据集划分：使用类似自助法的k折交叉验证，有放回的取出，分别训练T个决策树。
随机：一个是训练集的随机，一个是属性的随机（每次在当前属性中随机取K个构成属性子集，在子集中选择信息增益最大的属性）
在这里插入图片描述

结合策略

集合的好处

  • 可能多个假设在训练集上达到同等性能，使用单学习器可能因为误选而导致泛化性能不佳。
  • 单个可能陷入局部极小点。
  • 可以使相应的假设空间扩大。

结合方法

平均法

  • 简单平均
  • 加权平均

投票法

  • 绝对多数投票（大于一半则预测为该标记，否则拒绝）
  • 相对多数投票
  • 加权投票法

学习法

利用初始数据集训练出初级学习器，然后生成一个新数据集，训练一个次级学习器。

多样性度量

在这里插入图片描述··

多样性增强

  • 数据样本扰动
  • 输入属性扰动
  • 输出表示扰动
  • 算法参数扰动
why151
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
西瓜书学习笔记——第八章：集成学习
Andrewings
06-27 2040
8.集成学习8.1 个体与集成8.2 Boosting 8.1 个体与集成 8.2 Boosting Boosting工作机制如下图所示： 其中各个基学习器的对应权重由其误差计算确定，基学习器误差大的则对应的权重小，误差小的则对应权重大 ...
读书笔记-《机器学习》第八章：集成学习
L.Z.的博客
05-23 1333
第八章 集成学习 集成学习，通过构建并结合多个学习器来完成学习任务 集成学习的一般结构：先产生一组“个体学习器”，再用某种策略将它们结合起来 要获得好的集成，个体学习器应好而不同，即个体学习器要有一定的“准确性”，即学习器不能太坏，并且要有“多样性”，即学习器间具有差异 目前的基础学习方法大致可以分为两大类，即个体学习器间存在强依赖关系，必须串行生成的序列化方法，以及个体学习器间不存在强依...
机器学习理论 | 周志华西瓜书 第八章：集成学习
Tinky2013的博客
03-20 762
第八章 集成学习 8.1【个体与集成】 1、集成学习的一般结构 示意图 个体学习器(individual learner) 基学习器(base learner) 同质(homogenous)集成：集成中只包含同种类型的个体学习器 基学习器——同质集成中的个体学习器 基学习算法(base learning algorithm)——相应的学习算法 组建学习器(component learner) 异质...
【西瓜书学习笔记】第8章：集成学习
HandSome Girl
10-25 625
课程前言： Hoeffding不等式： 是关于一组随机变量均值的概率不等式，如果为一组独立同分布的参数为p的伯努利分布随机变量，n为随机变量的个数 对任意Hoeffding 不等式可以表示为：   泰勒展开式： 当x0 = 0 时： 麦克劳林级数：   残差： 指实际观察值与估计值（拟合值）之间的差，利用残差所提供的信息，来考察模型假设的合理性及数据的可靠性称为...
读书笔记《机器学习》： 第八章：集成学习
iamxiaofeifei的博客
09-06 1072
目录： 8.1 个体与集成 8.2 Boosting 8.3 Bagging与随机森林 8.4 结合策略 8.5 多样性8.1 个体与集成集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务。 同质集成：同质集成中的个体学习器也叫基学习器（base learner） 异质集成：异质集成中的个体学习器一般称组件学习器（component learner）
机器学习（周志华） 第八章集成学习
YJY131248的博客
03-13 2047
关于周志华老师的《机器学习》这本书的学习笔记 记录学习过程 本博客记录Chapter8
【Ensemble Learning】第 5 章： 使用集成学习库
sikh_0529的博客
02-06 1373
使用高质量的库可以加快初始开发速度，减少错误，减少重新发明轮子的情况，并降低长期维护成本。鉴于机器学习本质上是实验性的，库可以实现快速且可维护的实验。本章的目标是介绍 ML-Ensemble，这是一个基于 Python 的开源库，它包装了 scikit 集成类以提供高级 API。通过 Dask 扩展 XGBoost，Dask 是一个灵活的 Python 并行计算库。Dask 和 XGBoost 可以协同工作以并行训练梯度提升树。学习使用 Microsoft LightGBM 进行提升。
第八章 集成学习
weixin_44014982的博客
12-03 898
集成学习
【机器学习】之第八章——集成学习
FavoriteStar的博客
08-28 1162
西瓜书机器学习中的集成学习章节学习记录
【一起啃书】《机器学习》第八章 集成学习
xtcc的博客
05-27 1042
是个体学习器的平均分歧。Boosting是一种可将弱学习器提升为强学习器的算法：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本的分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；在一般经验中，如果把好坏不等的个体学习器掺到一起，那么通常结果会是比最坏的要好一些，比最好的要坏一些，要获得好的集成，个体学习器应“好而不同”，即个体学习器要有一定的“准确性”，并且要有“多样性”，也就意味着学习器间具有差异，如下所示。
第八章 集成学习1
08-04
第八章 集成学习8.1 个体与集成集成学习 (ensemble learning) 通过构建并结合多个学习器来完成学习任务, 有时也被称为多分类器系统、基于委员
机器学习-第八章集成学习
11-22
集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统、基于委员会的学习等。
第8章决策树与集成学习1
08-04
第 8 章 决策树与集成学习目录第 8 章 决策树与集成学习 18.1 决策树的基本思想 18.1.1 冠军球队 18.1.2 信息的度量 28.1.3 小结
机器学习之集成学习
weixin_49329177的博客
05-19 538
集成学习（Ensemble Learning），作为机器学习领域的一个重要组成部分，致力于通过组合多个学习器（通常称为基学习器或弱学习器）来提高整体模型的预测性能。它的基本思想是将“弱者联合成强者”，即将多个可能表现一般但各具特色的学习器集成起来，共同构建一个性能更为优越的强学习器，下面结合博主个人理解，展开叙述集成学习的核心思想和API介绍，以及随机森林，Adaboost，XGBoost，GBDT等算法特点。
【Python】【机器学习】在训练代码中建立混淆矩阵
SmallBamboo的博客
05-18 520
for t, p in zip(targets, preds)是同时遍历targets（真实标签）和真实标签对应的preds（预测标签），然后在conf_matrix的t.item()和p.item()位置更新混淆矩阵，也就是+=1。outputs.argmax(1)用于获取输出的最大预测值（也就是Top-1），output是二维张量：[batch_size, 类别数]；preds是一维张量[batch_size]，相当于提取出一个类别。
经典神经网络(8)GAN、CGAN、DCGAN、LSGAN及其在MNIST数据集上的应用
qq_44665283的博客
05-14 729
经典神经网络(8)GAN、CGAN、DCGAN、LSGAN及其在MNIST数据集上的应用
机器学习 - 聚类算法
weixin_47552266的博客
05-17 965
聚类是一种无监督学习方法，用于将数据集划分成若干个组（簇），使得同一簇内的数据点之间的相似度尽可能高，而不同簇之间的相似度尽可能低。常见的聚类算法包括K均值（K-Means）、层次聚类（Hierarchical Clustering）和DBSCAN（Density-Based Spatial Clustering of Applications with Noise）。
机器学习高斯贝叶斯算法实战：判断肿瘤是良性还是恶性
Python私教
05-16 589
我们使用威斯康星乳腺肿瘤数据集，来构建一个机器学习模型，用来判断患者的肿瘤是良性还是恶性。
RANSAC算法概述
最新发布
点云侠的博客
05-20 424
RANSAC算法概述
软考系统集成项目管理第二版
04-04
第八章：软件项目管理实践 介绍了软件项目管理实践的原则和方法，包括项目管理框架、项目管理过程、项目管理工具和技术以及项目管理的成功因素等内容。 该书适用于软件工程师、项目经理、项目管理人员、软件开发...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值