AdaBoost

原创 2015年11月17日 16:00:05

提升方法的思路

对于一个复杂的任务来说,将多个专家的判断进行综合所得出的判断,要比任何一个专家的单独判断好。

在概率近似正确(probably approximately correct,PAC)学习的框架中,一个概念,如果存在一个多项式的学习方法能够学习它,并且正确率很高,那么称这个概念是可强可学习的。

一个概念,如果存在一个多项式的学习算法能够学习它,并且学习的正确率仅比随机随机猜想略好,那么这个概念是可以弱可学习的。

在PAC学习的框架下,强可学习和弱化学习是等价的,一个概念是强可学习的充分必要条件是这个概念是弱可学习的。一般来说弱可学习的方法发现比强可学习的更为容易,如果对于一个问题发现了弱可学习的方法,可以组合这些弱分类器形成一个强分类器,将若分类方法提升(boost)为强可学习的方法。

大多数提升法都是改变训练数据的概率分布(训练数据的权值分布),针对不同的训练数据分布调用弱学习的算法学习一系列的若分类器

提升法需要解决的问题

1.每一轮如何改变训练数据的权值或概率分布;2.如何将弱分类器组合成一个强分类器。

AdaBoost的做法是,提高那些被前一轮弱分类器错误分类的样本的权值,降低那些被正确分类的样本的权值。这样一来,那些没有得到正确分类的数据,由于其权值的加大而受到后一轮的若分类器的更大关注。于是,分类问题被一系列的弱分类器分而治之。至于弱分类器的组合,AdaBoost采取多数表决的方法。具体来说是加大分类误差率小的弱分类器的权值,使其在表决中起较大的作用,减少分类误差率达的弱分类器的权值,使其在分类表决中起较小的作用。

AdaBoost算法


        

        



具体例子和提升树方法见李航老师统计学习方法

提升方法AdaBoost算法学习笔记

提升方法AdaBoost算法学习笔记 For xgboost:为了好好学习xgboost,由于算法基础比较薄弱,曲线救国,从提升方法、提升树、GBDT一步步看起。手头有李航老师的《统计学习方法》以及周...
  • sb19931201
  • sb19931201
  • 2016年09月03日 21:19
  • 2154

机器学习--Adaboost 算法的原理与推导

0 引言     一直想写Adaboost来着,但迟迟未能动笔。其算法思想虽然简单:听取多人意见,最后综合决策,但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午,在我组织的机器学习班 ...
  • u011596455
  • u011596455
  • 2016年11月19日 10:30
  • 1236

《统计学习方法,李航》:8、提升方法Boosting(1)

1)Boosting思想和基本概念 2)AdaBoost算法 3)AdaBoost算法举例 1)Boosting思想和基本概念   下面的概念前面都讲过: PAC(probably ap...
  • mmc2015
  • mmc2015
  • 2015年01月23日 12:55
  • 1394

AdaBoost--从原理到实现

一.引入   对于Adaboost,可以说是久闻大名,据说在Deep Learning出来之前,SVM和Adaboost是效果最好的 两个算法,而Adaboost是提升树(boosting tree)...
  • Dark_Scope
  • Dark_Scope
  • 2013年11月03日 14:33
  • 157458

cvpr读书笔记[2]:boosting方法和AdaBoost算法概述

boosting增强法的目标是提高任何给定的学习算法的分类准确率。 Boosting方法从弱学习算法出发,通过学习训练出一系列弱分类器,然后通过组合这些弱分类器构造一个强分类器。大部分Boost...
  • NJZhuJinhua
  • NJZhuJinhua
  • 2014年08月02日 01:10
  • 3317

关于Adaboost的一些理解

近段时间一直在学习spark 2.0框架,一个任务就是在spark下实现adaboost + logisticRegression的组合分类器,即利用逻辑回归作为adaboost的底层分类器,利用ad...
  • a1015553840
  • a1015553840
  • 2017年02月05日 19:06
  • 1507

《机器学习实战》AdaBoost算法的分析与实现

=====================================================================   《机器学习实战》系列博客是博主阅读《机器学习实战》这本书...
  • Gamer_gyt
  • Gamer_gyt
  • 2016年05月11日 10:41
  • 5876

手把手实现AdaBoost算法

手把手实现AdaBoost算法标签: 机器学习 Python主要参考资料: Peter HARRINGTON.机器学习实战[M].李锐,李鹏,曲亚东,王斌译.北京:人民邮电出版社, 2013. 李航....
  • xuelabizp
  • xuelabizp
  • 2016年04月24日 20:03
  • 2785

AdaBoost算法研究进展与展望_曹莹

  • 2017年07月22日 11:44
  • 1.44MB
  • 下载

基于adaboost的人脸检测

  • 2017年07月14日 19:40
  • 3.98MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:AdaBoost
举报原因:
原因补充:

(最多只允许输入30个字)