AdaBoost

原创 2015年11月17日 16:00:05

提升方法的思路

对于一个复杂的任务来说,将多个专家的判断进行综合所得出的判断,要比任何一个专家的单独判断好。

在概率近似正确(probably approximately correct,PAC)学习的框架中,一个概念,如果存在一个多项式的学习方法能够学习它,并且正确率很高,那么称这个概念是可强可学习的。

一个概念,如果存在一个多项式的学习算法能够学习它,并且学习的正确率仅比随机随机猜想略好,那么这个概念是可以弱可学习的。

在PAC学习的框架下,强可学习和弱化学习是等价的,一个概念是强可学习的充分必要条件是这个概念是弱可学习的。一般来说弱可学习的方法发现比强可学习的更为容易,如果对于一个问题发现了弱可学习的方法,可以组合这些弱分类器形成一个强分类器,将若分类方法提升(boost)为强可学习的方法。

大多数提升法都是改变训练数据的概率分布(训练数据的权值分布),针对不同的训练数据分布调用弱学习的算法学习一系列的若分类器

提升法需要解决的问题

1.每一轮如何改变训练数据的权值或概率分布;2.如何将弱分类器组合成一个强分类器。

AdaBoost的做法是,提高那些被前一轮弱分类器错误分类的样本的权值,降低那些被正确分类的样本的权值。这样一来,那些没有得到正确分类的数据,由于其权值的加大而受到后一轮的若分类器的更大关注。于是,分类问题被一系列的弱分类器分而治之。至于弱分类器的组合,AdaBoost采取多数表决的方法。具体来说是加大分类误差率小的弱分类器的权值,使其在表决中起较大的作用,减少分类误差率达的弱分类器的权值,使其在分类表决中起较小的作用。

AdaBoost算法


        

        



具体例子和提升树方法见李航老师统计学习方法

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

基于adaboost的人脸检测

  • 2017-07-14 19:40
  • 3.98MB
  • 下载

Adaboost提升方法

该算法是Adaptive Boosting的缩写 算法思想:三个臭皮匠,顶个诸葛亮,也就是说对于一个复杂的任务来说,将多个专家的判断进行适当的综合所得出的判断,要比其中任何一个专家的判断好。 从软学习...

Adaboost算法详解

  • 2016-12-20 20:35
  • 609KB
  • 下载

Haar特征、积分图、Adaboost算法、分类器训练

一、Haar-like特征 Haar特征值反映了图像分度变化的情况。 Haar-like特征最早是由Papageorgiou等应用于人脸表示,Viola和Jones在此基础上,使用3种类型4种形式...

adaboost的简单证明

  • 2014-03-10 14:36
  • 842KB
  • 下载

AdaBoost算法简介

  • 2013-02-05 09:26
  • 206KB
  • 下载

提升方法AdaBoost算法完整python代码

提升方法AdaBoost算法提升方法简述俗话说,“三个臭皮匠顶个诸葛亮”,对于一个复杂的问题,一个专家的判断往往没有多个专家的综合判断来得好。通常情况下,学习一个弱学习算法比学习一个强学习算法容易得多...

AdaBoost算法

  • 2014-08-06 21:18
  • 63KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)