AdaBoost 学习笔记（一）

已于 2022-01-19 17:02:04 修改
阅读量2k 收藏
点赞数
文章标签： 算法 机器学习 深度学习
于 2022-01-19 17:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_61289638/article/details/122585082
版权

In the forest of trees made by Adaboost, the trees are usually just a node and two leafs.

在Adaboost算法生成的Tree的集合中，tree只有一个node和两个leaf组成

Stump由于只考虑一个feature, 在作出预测方面并不准确 （Stump can only use one variable to make a decision）, 所以Stump 又被称为weaker learner.

在随机森林中，每个生成的tree对最终结果都有相同的投票权，但对于AdaBoost，每个stump对最终Classification 的投票权不一样。更大的Stump对最终的classification的结果影响更大

在Adaboost算法中，Stump生成的顺序很重要，每一个Stump的产生都会受到前一个Stump的影响。

总的来说, Adaboost有三个核心要点

  1. 有多个Stump 构成 （Weaker learner）
  2. 对个Stump对最终Classification 的影响不同，有些Stump的影响大，有些Stump的影响小
  3. 每个Stump的生成都考虑了前一个Stump的错误（第一个Stump除外）

Link:

https://www.youtube.com/watch?v=LsK-xG1cLYA&t=0s

Marvin430
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Boosting算法简介
weixin_34249367的博客
01-18 1184
一、Boosting算法的发展历史 　　Boosting算法是一种把若干个分类器整合为一个分类器的方法，在boosting算法产生之前，还出现过两种比较重要的将多个分类器整合为一个分类器的方法，即boostrapping方法和bagging方法。我们先简要介绍一下bootstrapping方法和bagging方法。 　　1）bootstrapping方法的主要过程 　　...
adaboost学习笔记 修正
03-15
学习笔记
《机器学习》------Adaboost学习笔记
Naruto_8的博客
10-22 407
b站原视频链接 原作cdsn链接 1、First, What is ensemble learning？ 包含许多算法如：决策树、SVM、神经网络； 为了解决特定的机器学习问题，有策略性地生成和组合多个模型 分类器的Combiner： motivation：提高模型的效果、减少不良模型选择的可能性； Bagging 、Boosting ； Bagging 、Boosting 在机器学习中的位置： 2、How to combine the outputs classifiers？ 每个分类器的一定是不一
机器学习笔记之——AdaBoost
caitzh的博客
03-19 259
目录AdaBoost1. 主要思想2. 算法流程3 算法解析3.1 好而不同3.2 权重更新4. 公式推导4.1 加法模型4.2 前向分步算法4.3 AdaBoost 的公式推导 AdaBoost 1. 主要思想 AdaBoost 属于集成学习，集成学习的思想是用很多个基学习器（弱学习器）来组合成一个强学习器，通俗一点解释就是“三个臭皮匠，顶个诸葛亮”。集成学习一般要求各个学习器之间要有差异，这...
Adaboost 学习笔记
wohenshuai
12-12 844
视频 1. Adaboost 介绍 Adaboost 的原理是通过每次减少上一轮被正确分类的样本权值，提高被错误分类的样本权值，再进行本轮弱分类器的分类。 2. Adaboost 算法流程 2.1 权值更新 对于每个样本，定义为： (xn,y^n,un)(x^{n},\hat{y}^{n},u^{n})(xn,y^​n,un) 表示每个样本的 (feature,label,权重)(feature, label, 权重)(feature,label,权重)，一开始默认权重都为1。 假设每个弱分类器一开始都不
AdaBoost算法-课堂笔记
热门推荐
zyh960的博客
08-15 1万+
AdaBoost算法是属于分类算法中的集成算法 集成算法通常有两种方式：投票选举和再学习 投票选举的场景类似专家召集到会议室里面，当做一个决定的时候，让K个专家（K个模型）分别进行分类，然后选择出现次数最多的那个类作为最终的分类结果。 再学习相对于把K个专家（K个分类器）进行加权融合，形成一个新的超级专家（强分类器），让这个超级专家做判断 再学习是提升，它的作用是每一次训练的时候都对上一次的训练进行改进提升，在训练的过程中这K个“专家”之间是有依赖性的，当引入第K个“专家（第K个分类器）的时候，实际上是
Adaboost学习文档
11-12
Adaboost学习笔记，记录了从基础理论知识，原理数学推导和实战代码。最好还介绍了研究非分均衡问题的几种策略。
机器学习学习笔记.rar
05-10
Jim Liang的机器学习700+页PPT，机器学习入门介绍，含最近邻，SVM，线性回归，逻辑回归，神经网络，梯度下降，朴素贝叶斯，K-means，主成分分析，决策树，AdaBoost，随机森林
树模型学习笔记整理
01-07
树模型学习笔记整理一、原理二、特征选择2.1信息增益2.2信息增益比三、生成算法3.1 ID3算法3.2 C4.5的生成算法四、决策树的剪枝五、CART算法5.1 CART生成5.2 分类树的生成5.3 CART剪枝六、提升树6.1 AdaBoost算法6.2...
集成学习—AdaBoost、GBDT、XGBT.docx
01-19
机器学习笔记word
机器学习笔记2：AdaBoost算法原理和推导详解
zhuzuwei的博客
06-01 1万+
1. 相关概念：（1）集成算法（ensemble）或元算法（meta-algorithm): 是对其他算法进行组合的一种方式；可以是不同的算法集成，也        可以是同一算法在不同设置下的集成，还可以是数据集不同部分分配给不同分类器之后的集成。(2) 弱分类器：”弱“意味着分类器的性能比随机猜测要好，但是也不会好太多。(3) 错误率 ε： ε = 未被正确分类的样本数目 / 所有样本数目2....
机器学习笔记（六） Adaboost
陈德龙的博客
08-19 629
零、写在前面 参考资料： 《机器学习》周志华 本文记录了Adabooost算法的推导过程，不是Adaboost的教程。如果之前没有接触过Adaboost，我保证读者看完本文后一定学不会Adaboost算法。 一、推导 1. 为什么指数损失函数可以作为优化目标 首先说明我们使用的符号： 符号 含义 T 基学习器个数 h 基学习器 ...
AdaBoost算法学习
Marshall的专栏
04-03 4196
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。AdaBoost是一种具有一般性的分类器提升算法，它使用的分类器并不局限某一特定算法。
Adaboost学习笔记
weixin_40196271的博客
05-08 316
一、Adaptive basis function models 1.kernel methods kernel是度量x和u之间的距离的函数，也可以放在loss fuction中。kernel的形式有高斯kernel、球形kernel、cos距离（在nlp中用得很多，第j个word在第i个里面出现的次数）、RF kernel。 怎么定义好kernel：如果想度量两幅图像的距离。kernel的...
Adaboost算法的学习笔记~
墨门
07-31 283
1 致谢 感谢网友ScorpioLu的帮助，他写的博文对我理解Adaboost算法有启发和帮助的效果~ 原文链接如下： https://www.cnblogs.com/ScorpioLu/p/8295990.html 2 前言 今天在学习Adaboost算法~ 3 Adaboost算法介绍 Adaboost算法是一种分类算法。 他也是一种迭代算法，其核心思想是针对同一个训练集训练不...
【机器学习】adaboost算法
gogo小Sa的专栏
05-18 2061
【机器学习】adaboost算法转载自：https://blog.csdn.net/guyuealian/article/details/70995333（算法原理与实例结合讲解很好！） 一、AdaBoost简介      Boosting, 也称为增强学习或提升法，是一种重要的集成学习技术，能够将预测精度仅比随机预测的精度略高的弱学习器增强为预测精度高的强学习器，这在直接构造强学习器非常困难的情...
机器学习笔记之Adaboost算法分析及实际引用
AmbiRF的博客
05-25 1158
一、boost前提介绍提升（Boost）简单地来说，提升就是指每一步我都产生一个弱预测模型，然后加权累加到总模型中，然后每一步弱预测模型生成的的依据都是损失函数的负梯度方向，这样若干步以后就可以达到逼近损失函数局部最小值的目标。boosting分类的结果是基于所有分类器的加权求和结果的，分类器每个权重代表的是其对应分类器在上一轮迭代中的成功度。而bagging中的分类器权重是相等的。其中Adabo...
质数和约数
最新发布
2302_77099705的博客
05-21 701
最大公约数（Greatest Common Divisor）指两个或多个整数共有约数中最大的一个。也称最大公因数、最大公因子，a， b的最大公约数记为（a，b），同样的，a，b，c的最大 公约数记为（a，b，c），多个 整数的最大公约数也有同样的记号。求最大公约数有多种 方法，常见的有 质因数分解法、 短除法、 辗转相除法、 更相减损法。
算法刷题笔记 逆序对的数量（C++实现）
hanmo22357的博客
05-18 315
AcWing上的算法基础课题目 逆序对的数量 刷题笔记记录
adaboost属于机器学习吗
08-09
是的，Adaboost（Adaptive Boosting）是一种机器学习算法。它是一种集成学习（ensemble learning）方法，通过迭代的方式训练一系列弱分类器（weak classifier），并将它们组合成一个强分类器（strong classifier）。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值