机器学习--Adaboost

最新推荐文章于 2023-02-20 15:25:12 发布
最新推荐文章于 2023-02-20 15:25:12 发布
阅读量290 收藏
点赞数
分类专栏： 机器学习 文章标签： 算法 机器学习 python 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37673308/article/details/105183753
版权

机器学习--Adaboost

boosting思想

在这里插入图片描述

算法流程

1.考虑权值进去，初始化相等权值
在这里插入图片描述
2.给基本分类器加权值！
谁的误差率越小，谁的权值就越大！
在这里插入图片描述
3.更新样本权值
若样本预测错误，测样本的权值升高！
在这里插入图片描述
4.构建基本分类器的线性组合，得到最终分类器
在这里插入图片描述

为什么能收敛？

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

理解

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
bagging：基分类器相互独立
m*（均值/m) = 均值
m*（方差/m）^2 = 方差/m
故方差可以减小
boosting：基分类器基于之前的基分类器改进，可以减小偏差

方圆説
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AdaBoost算法详细介绍
修炼之路
04-06 1万+
一、Boosting算法Boosting集成分类器包含多个非常简单的成员分类器，这些成员分类器的性能仅好于随机猜想，常被称为弱学习机。典型的弱学习机的例子就是单层决策树。Boosting算法主要针对难以区分的样本，弱学习机通过在分类错误的样本上进行学习来提高继承分类器的分类性能。Boosting与Bagging不同，在Boosting的初始化阶段采用的是无返回抽样从训练样本中随机抽取一个子集，而B...
机器学习面试之偏差方差
leadai的博客
02-07 573
正文共2826个字，预计阅读时间8分钟。在机器学习的面试中，能不能讲清楚偏差方差，经常被用来考察面试者的理论基础。偏差方差看似很简单，但真要彻底地说明白，却有一定难度。比如，为什么KNN算法在增大k时，偏差会变大，但RF增大树的数目时偏差却保持不变，GBDT在增大树的数目时偏差却又能变小。本文的目的就是希望能对偏差方差有一个科学的解读，欢迎大家多多交流。01引子假设我们有一个回归问题，我们搞到一批
机器学习学习笔记[牛客专项练习]
热门推荐
weixin_42956279的博客
12-31 1万+
生成式模型vs判别式模型 （知乎链接） 有监督学习可以将其分为两类模型：判别式模型和生成式模型。简单地说，判别式模型是针对条件分布建模，而生成式模型则针对联合分布进行建模。 判别式模型 生成式模型 直接计算p(y|x)，最大的作为新样本的分类 有多少个类别，就建立多少个模型, 分别计算新样本和所有类别的联合概率，再根据bayes分别计算p(y|x),最大的作为新样本的分类 学习不同类别之间的最优边界，反映的是异类数据之间的差异，不学习本身分布信息,无法反映训练数据本身的特性，能力有限，
【机器学习】Adaboost
Dong_ZH的博客
02-20 7295
AdaBoost（adapt boost），自适应推进算法，属于Boosting方法的学习机制。是一种通过改变训练样本权重来学习多个弱分类器并进行线性结合的过程。它的自适应在于：被前一个基本分类器误分类的样本的权值会增大，而正确分类的样本的权值会减小，并再次用来训练下一个基本分类器。同时，在每一轮迭代中，加入一个新的弱分类器，直到达到某个预定的足够小的错误率或预先指定的最大迭代次数再确定最后的强分类器。Adaboost主要解决的问题有: 两类问题、多类单标签问题、多类多标签问题、回归问题。
AdaBoost算法特性
weixin_30325793的博客
12-18 381
Boosting算法 提升算法是一种常见的统计学习方法,其作用为将弱的学习算法提升为强学习算法.其理论基础为:强可学习器与弱可学习器是等价的.即在在学习中发现了’弱学习算法’,则可以通过某些方法将它特生为强可学习器,这是数学可证明的.在分类学习中提升算法通过反复修改训练数据的权值分布,构建...
机器学习之Adaboost
panxiaoxie的博客
09-02 1121
主要内容： 1.何为提升学习方法adaboost 2.adaboost算法步骤 3. 代码实现 4. sklearn使用一、何为提升学习方法历史上，Kearns和Valiant首先提出了“强可学习（strongly learnable）”和“弱可学习（weakly learnable）”的概念。指出：在概率近似正确（probably approximately correct，PAC）学习框
机器学习之Adaboost笔记
qq_40212975的博客
01-06 218
一、Adaboost的特性 Adaboost对每一个样本分配权重，对每一轮的弱分类器也分配一个权重。 Adaboost通过分类误差率来更新下一轮的样本权重，即提高被误分类的样本权重，并降低被正确分类的样本权重，使得没有被正确分类的样本在后一轮训练时获得更多的关注。 对基分类器分配权重，加大误差率较小的弱分类器权重，使其在表决中起较大的作用。 二、Adaboost算法 输入：训练数据集T = {(x1, y1), (x2, y2), (x3,y3),…(xn，yn)},其中xi ∈ X ⊆ Rn,
机器学习-AdaBoost算法
01-04
AdaBoost算法是一种强大的机器学习工具，尤其适用于处理复杂数据和分类任务。通过结合多个弱分类器，它可以产生一个性能优秀的强分类器。在Python中，Scikit-Learn库提供了一种简洁的方式实现AdaBoost，便于在实际...
python-机器学习-AdaBoost元算法
03-20
Python中的AdaBoost是一种强大的机器学习算法，它是一种元算法，也称为适应性加权 boosting。AdaBoost（Adaptive Boosting）是由Yoav Freund和Robert Schapire在1995年提出的，它通过迭代地训练弱分类器并组合它们来...
机器学习-决策树-实现源码
11-02
带着读者通过Python语言手写简化版实现决策树绘制。...适合人群：零基础或者具备一定编程基础，对机器学习有一定的了解。 可以学到机器学习决策树的原理，如何利用cart决策树实现决策树绘制，完成分类效果。
机器学习-基于Python实现的机器学习算法之AdaBoost.zip
03-03
在机器学习领域，AdaBoost是一种强大的集成学习方法，它的全称是Adaptive Boosting，由Yoav Freund和Robert Schapire于1995年提出。AdaBoost算法是一种迭代的弱学习器组合策略，它通过调整各个弱分类器的权重来优化...
机器学习-西瓜数据集3.0
最新发布
05-07
《机器学习：深入解析西瓜数据集3.0》 在数据科学领域，机器学习是不可或缺的一部分，而高质量的数据集则是推动机器学习模型发展的基石。"机器学习-西瓜数据集3.0"就是一个专为教学和研究设计的典型数据集，它为...
adaboost总结
u012063773的博客
06-18 793
本文参考文章算法分析　　该算法其实是一个简单的弱分类算法提升过程，这个过程通过不断的训练，可以提高对数据的分类能   Adaboost力。整个过程如下所示： 　　       1. 先通过对N个训练样本的学习得到第一个弱分类器； 　　       2. 将分错的样本和其他的新数据一起构成一个新的N个的训练样本，通过对这个样本的学习得到第二个弱分类器 ； 　　       3. 将1和2都分错了的样...
bagging减少方差variance，boosting减少偏差bias
给我一点温度
09-17 2297
1variance和bias 准：bias描述的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距，简单讲，就是在样本上拟合的好不好。要想在bias上表现好，low bias，就得复杂化模型，增加模型的参数，但这样容易过拟合 (overfitting)，过拟合对应上图是high variance，点很分散。low bias对应就是点都打在靶心附近，所以瞄的是准的，但手不一定稳。...
提升方法：GBDT、XGBOOST、AdaBoost
FBeetle的博客
05-04 5595
提升 (boosting) 方法是一种常用的统计学习方法，应用广泛且有效，在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类器性能。 Table of Contents GBDT 提升的概念提升算法梯度提升决策树 GBDT XGBOOSTAdaBoost 误差分析 参考文献 GBDT
第八篇：机器学习基础：集成学习算法：随机森林、Adaboost、 XGBoost
haiwang_luo的博客
05-29 1169
1 集成学习 1.1。何为集成方法？ 集成学习是一种机器学习范式。在集成学习中，我们会训练多个模型（通常称为「弱学习器」）解决相同的问题，并将它们结合起来以获得更好的结果。 最重要的假设是：当弱模型被正确组合时，我们可以得到更精确和/或更鲁棒的模型。 集成方法的思想是通过将这些弱学习器的偏置和/或方差结合起来，从而创建一个「强学习器」（或「集成模型」），从而获得更好的性能。 1.2。组合弱学习器：很重要的一点是：我们对弱学习器的选择应该和我们聚合这些模型的方式相一致。 如果我们选择具有低偏
机器学习算法（14）之boosting算法之Adaboost、GBDT
不曾走远的博客
09-10 4177
前言：我们讲到了集成学习按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间不存在强依赖关系，另一类是个体学习器之间存在强依赖关系。后者的代表算法就是是boosting系列算法。本文就对boosting以及对其各种延伸算法做详细的推导。 注：这篇文章由于有很多数学公式，编辑起来很费力，所以很多会采取截图的方式来撰写，大部分来源于李航老师的《统计学习方法》。 1、boostin...
【机器学习入门二】集成学习及AdaBoost算法的python实现
gongyi_yf的博客
03-25 836
本文主要基于周志华老师的《机器学习》第八章内容 个体与集成 集成学习通过构建并结合多个学习器来完成学习任务。集成学习的一般结构如图所示： 先产生一组个体学习器，在用某种策略把它们结合在一起。个体学习器通常有一个现有的学习算法从训练数据产生，如决策树桩和BP神经网络。个体学习器可以使相同类型的也可以是不同类型的，比如全是神经网络或者同事含有神经网络和决策树桩。 集成学习通过将多个学习...
常见的数据预处理--python篇
Sherlock的博客
05-15 2246
常见的数据预处理--python篇1、 加载数据1.1 数据读取1.2 CSV文件合并1.3 CSV文件拆分1.4 数据查看2、缺失值2.1 缺失值查看2.2 缺失值处理2.2.1 不处理2.2.2 删除2.2.3 填充2.2.3.1 固定值填充2.2.3.2 出现最频繁值填充2.2.3.3 中位数/均值插补2.2.3.4 用前后数据填充2.2.3.5 拉格朗日插值法2.2.3.6 其它插补方法3、异常值3.1 异常值识别3.1.1 描述性统计法3.1.2 三西格玛法3.1.3 箱型图3.1.4 其它3.2
机器学习 --- Adaboost
10-17
Adaboost是一种集成学习方法，它通过组合多个弱分类器来构建一个强分类器。具体来说，Adaboost会对训练数据进行加权，然后训练一个弱分类器，接着根据分类器的表现对样本的权重进行调整，使得分类错误的样本权重增加，分类正确的样本权重减少。然后再用调整后的权重重新训练一个弱分类器，如此循环迭代，直到达到预设的迭代次数或者误差率达到一定阈值。最终将所有弱分类器的结果进行加权组合，得到最终的分类结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值