机器学习实战笔记——AdaBoost

最新推荐文章于 2024-05-01 08:05:28 发布
最新推荐文章于 2024-05-01 08:05:28 发布
阅读量913 收藏 3
点赞数
分类专栏： 机器学习 文章标签： 机器学习 AdaBoost
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Evitachan/article/details/80441568
版权

基本原理

Boosting族算法可以将多个弱分类器加权结合成强分类器。其中，AdaBoost是最为显著的代表算法，它的基本思想为：先从初始训练集训练出一个弱分类器，每一次训练的弱分类器参与下一次训练，直到错误率足够小或者达到指定迭代次数。

AdaBoost算法的三个步骤：

一、对训练数据赋相同的权重。如果样本数为m，权重为1/m。

二、训练弱分类器并计算每个分类器的权重值alpha。训练出一个弱分类器后，计算该分类器的错误率ε，alpha计算公式如下


分类正确的样本在下一次训练时权重减小，分类错误的样本在下一次训练时权重增加。即每次训练的弱分类器一方面计算分类器权重值alpha，另一方面调整用于下一轮训练的样本权重。

三、将所有弱分类器加权结合得到强分类器，权值为alpha。

如果基于“加性模型”（additive model），即弱分类器的线性组合，用公式表达为

其中ht(x)是弱分类器，αt是每个弱分类器的权重值alpha。

使用线性组合来最小化损失函数

如果H(x)能使损失最小化，考虑上式对H(x)的偏导

令偏导等于0解得

最后构建的强分类器为

第一个弱分类器h1由初始数据得到，迭代生成ht，αt

弱分类器ht使得αtht能够最小化损失函数

最低0.47元/天 解锁文章
Evitaaaaa
关注
专栏目录
机器学习实战---AdaBoost
leemusk的博客
04-20 171
建立单层决策树的伪代码如下： 将最小错误率minError设为+∞ 对数据集中的每一个特征（第一层循环）： \qquad 对每个步长（第二层循环）： \qquad \qquad 对每个不等号（第三层循环）： \qquad \qquad \qquad 建立一棵单层决策树并利用加权数据集对它进行测试 \qquad \qquad \qquad 如果错误率低于minError，则将当前单层决策树设为最佳单...
adaboost 机器学习实战
zz133110的博客
06-28 409
机器学习实战之AdaBoost算法 https://www.cnblogs.com/zy230530/p/6909288.html adaBoost权重的意义 https://blog.csdn.net/qq_27015119/article/details/80797767 原】关于AdaBoost的一些再思考 https://www.cnblogs.com/chaosimple/p/40297...
机器学习实战笔记7(Adaboost)
热门推荐
小村长技术blog
08-18 1万+
1：简单概念描述        Adaboost是一种弱学习算法到强学习算法，这里的弱和强学习算法，指的当然都是分类器，首先我们需要简单介绍几个概念。 1：弱学习器：在二分情况下弱分类器的错误率会高于50%。其实任意的分类器都可以做为弱分类器，比如之前介绍的KNN、决策树、Naïve Bayes、logiostic回归和SVM都可以。这里我们采用的弱分类器是单层决策树，它是一个单节点的决策树。
机器学习实战-【AdaBoost】
disguiseR
05-20 500
机器学习实战-【AdaBoost】 1. 难点说明 1- stumpClassify( ) 构建单层决策树中 参数threshIneq，它取值 lt 或 gt 。lt 表示小于阈值的为 -1，gt 表示大于阈值的为-1（事先不知道大于阈值判断为+1还是−1\color{Red}事先不知道大于阈值判断为+1还是-1事先不知道大于阈值判断为+1还是−1） 2-adaBoostTrainDS( ...
机器学习实战——AdaBoost
12-18 857
书籍：《机器学习实战》中文版 IDE：Spyder 环境：Adaconda3  python3.6 (Spyder相对pycharm来说，比较简洁，而且对于常用matlab的人，感觉更亲切。它可以方便的观察变量值，查看运行结果等。但是spyder没有代码折叠！代码提示方面也远不如pycharm！) Ensemble方法：集合方法，将弱分类器变成一个强分类器。
“机器学习实战”刻意练习——分类问题：AdaBoost
nanashi_F的博客
12-09 757
“机器学习实战”刻意练习——分类问题：AdaBoost | 一、AdaBoost概述 | 二、相关原理 | 三、代码实现 | 四、非均衡分类问题
猿创征文｜机器学习实战（8）——随机森林
WHJ226的博客
09-01 1247
机器学习实战（7）中我们已经提到，随机森林是决策树的集成，通常用bagging方法训练，训练集大小通过max_samples来设置。除了先构建一个 BaggingClassifier 然后将结果传输到 DecisionTreeClassifier ，还有一种方法就是使用 RandomForestClassifier 类（对于回归任务有RandomForestRegressor类），这种方法更方便。
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（7）：集成学习和随机森林
Morganfs的博客
05-05 1415
· Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 《机器学习》周志华 · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.05.05~2022.05.05 第六章 集成学习和随机森林 .
机器学习算法（5）—— 集成学习算法_集成学习算法库
最新发布
2401_84183492的博客
05-01 298
集成学习通过建立几个模型来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。机器学习的两个核心任务如何优化训练数据 —> 主要用于解决欠拟合问题如何提升泛化性能 —> 主要用于解决过拟合问题只要单分类器的表现不太差，集成学习的结果总是要好于单分类器的目标：把下面的圈和方块进行分类实现过程（1）采样不同数据集（2）训练分类器（3）平权投票，获取最终结果。
《机器学习实战》AdaBoost方法的算法原理与程序实现
Anthony_Wu的博客
05-26 657
一、引言提升(boosting)方法是一种常用的统计学习方法，应用广泛且有效，在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。对于分类问题，给定一个训练样本集，比较粗糙的分类规则（弱分类器），要比精确分类规则（强分类器）容易，提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合这些弱分类器，构成一个强分类器，大多数提升方法都是改变...
python机器学习实战：Adaboost
sky
10-15 1164
1.AdaBoost算法：   什么叫AdaBoost算法呢，我们可以这样理解：当我们做重要的决定的时候，我们一个人的意见有可能是错误的，但时如果我们能够吸取多个人的意见再做决定，那我们犯错误的几率就会大大的下降，没错，AdaBoost就是就是这样的算法，当我们只采用一个分类器来分类的时候，我们犯错的几率可能会是30%，但是如果我们采用多个分类器来分类，那我们的错误几率就有可能降低到10%，甚至
机器学习实战笔记：AdaBoost
cv_pyer的博客
04-25 559
AdaBoost概述 AdaBoost是典型的Boosting算法，属于Boosting家族的一员。在说AdaBoost之前，先说说Boosting提升算法。 Boosting算法基于这样一种思想：如果有一个复杂的问题，如果将多个专家的判断进行适当的综合可能要比某一个单独的专家独自判断的结果要好，实际上就是“三个臭皮匠顶个诸葛亮”的道理。 将这个思想应用于机器学习领域，如果有一个问题，存...
《机器学习实战》——第7章 利用AdaBoost元算法提高分类性能
fjyalzl的博客
09-18 482
我们可以将不同的分类器组合起来，而这种组合结果则被称为集成方法或者元算法。使用集成方法时会有多种形式：可以是不同算法的集成，也可以是统一算法在不同设置下的集成，还可以是数据集不同部分分配给不同分类器之后的集成。优点：泛化错误率低，易编码，可以应用在大部分分类器上，无参数调整。缺点：对离群点敏感。适用数据类型：数值型和标称型数据。
机器学习实战之AdaBoost
steph_curry的博客
03-22 267
import numpy from numpy import * import matplotlib.pyplot as plt def loadSimpleData(): dataMat=matrix([[1.,2.1], [2.,1.1], [1.3,1.], [1.,...
机器学习笔记之Adaboost算法分析及实际引用
AmbiRF的博客
05-25 1195
一、boost前提介绍提升（Boost）简单地来说，提升就是指每一步我都产生一个弱预测模型，然后加权累加到总模型中，然后每一步弱预测模型生成的的依据都是损失函数的负梯度方向，这样若干步以后就可以达到逼近损失函数局部最小值的目标。boosting分类的结果是基于所有分类器的加权求和结果的，分类器每个权重代表的是其对应分类器在上一轮迭代中的成功度。而bagging中的分类器权重是相等的。其中Adabo...
集成学习笔记09-Boosting算法原理与AdaBoost
coldfish的博客
04-20 326
Boosting算法原理与AdaBoost Boosting原理 Boosting方法是使用同一组数据集进行反复学习得到的弱学习器来最终产生预测性能强大的学习器。 Boosting是通过不断减少偏差的形式来提高最终的预测效果，与之前介绍的Bagging有着本质的不同。Bagging是采用通过全样本抽样子集进行训练投票得出最终的预测，而Boosting是全样本训练优化。 Bagging和Boosting的区别 样本选择： Bagging：训练集是有放回的选取出子集的，各子集独立训练。 Boosting：训练
机器学习实战笔记——Logistic回归
Evitachan的博客
06-23 522
一 问题描述Logistic回归常用于探索疾病的危险因素。从马各项症状指标预测马是否死亡，在规模较大的马场，这种方法能够及时有效对存活可能性大的马进行治疗。二 数据准备马病症数据集来自UCI（http://archive.ics.uci.edu/ml/datasets/Horse+Colic）。包含368个样本和28个特征。样本中有30%的缺失值，用0填充。三 算法原理定义目标函数为要求error...
机器学习实战笔记（一）机器学习基础
CYW2019_HUST的博客
09-29 645
什么是机器学习，机器学习解决问题的一般方法，机器学习领域的关键属于，为什么要使用Python语言来处理机器学习问题
集成学习实战：AdaBoost算法详解与bagging方法对比
在机器学习实战中，AdaBoost算法是一种重要的集成学习方法，它属于元算法的一种，旨在通过结合多个简单的弱分类器（通常称为基分类器）形成一个强大的分类器。相比于单一分类器，AdaBoost的优势在于其能够针对错误率...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值