机器学习(七):提升(boosting)方法

更多内容关注公众号:数学的旋律
在这里插入图片描述


tb店铺搜:FUN STORE玩物社,专业买手挑选送礼好物

引言

    提升(boosting)方法是一族可将弱学习器提升为强学习器的算法。这族算法的工作机制类似:先从初始训练集训练出一个基学习器,再根据基学习器的表现对训练样本分布进行调整,使得先前基学习器做错的训练样本在后续受到更多关注,然后基于调整后的样本分布来训练下一个基学习器;如此重复进行,直至基学习器数目达到事先指定的值T,最终将这T个基学习器进行加权结合。
    本文主要介绍提升方法中代表性的算法AdaBoost和提升方法中更具体地实例提升树(boosting tree)。AdaBoost算法是1995年由Freund和Schapire提出的,提升树是2000年由Friedman等人提出的。

一、AdaBoost算法

    AdaBoost是adaptive boosting(自适应boosting)的缩写。
    对于分类问题而言,给定一个训练样本集,求比较粗糙的分类规则(弱分类器)要比求精确的分类规则(强分类器)容易得多。提升方法就是从弱学习算法出发,反复学习,得到一系列弱分类器(又称为基本分类器),然后组合这些弱分类器,构成一个强分类器。大多数的提升方法都是改变训练数据的概率分布(训练数据的权值分布),针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。
    这样,对提升方法来说,有个两个问题需要回答:一是在每一轮如何改变训练数据的权值或概率分布;二是如何将弱分类器组合成一个强分类器。
    关于第一个问题,AdaBoost的做法是,提高那些被前一轮弱分类器错误分类样本的权值,而降低那些被正确分类样本的权值。至于第二个问题,即弱分类器的组合,AdaBoost采取加权多数表决的方法,具体地,加大分类错误率小的弱分类器的权值,使其在表决中起较大的作用,减小分类错误率大的弱分类器的权值,使其在表决中起较小的作用。

1.算法

    假设给定一个二类分类的训练数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x i , y i ) , ⋯   , ( x N , y N ) } D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_i,y_i),\cdots,(x_N,y_N)\} D={(x1,y1),(x2,y2),,(xi,yi),,(xN,yN)}其中,每个样本点由实例与标记组成。实例 x i ∈ X ⊆ R n x_i∈X⊆R^n xiXRn,标记 y i ∈ Y = − 1 , + 1 y_i∈Y={-1,+1} yiY=1,+1 X X X是实例空间, Y Y Y是标记集合。AdaBoost利用以下算法,从训练数据中学习一系列弱分类器或基本分类器,并将这些弱分类器组合成为一个强分类器。
算法1(AdaBoost)
输入:训练数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x i , y i ) , ⋯   , ( x N , y N ) } D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_i,y_i),\cdots,(x_N,y_N)\} D={(x1,y1),(x2,y2),,(xi,yi),,(xN,yN)},其中 x i ∈ X ⊆ R n x_i∈X⊆R^n xiXRn y i ∈ Y = − 1 , + 1 y_i∈Y={-1,+1} yiY=1,+1;弱分类器算法
输出:最终分类器G(x)
①初始化训练数据的权值分布 D 1 = ( w 11 , ⋯   , w 1 i , ⋯   , w 1 N ) ,       w 1 i = 1 N ,       i = 1 , 2 , ⋯   , N D_1=(w_{11},\cdots,w_{1i},\cdots,w_{1N}),\ \ \ \ \ w_{1i}={1\over N},\ \ \ \ \ i=1,2,\cdots,N D1=(w11,,w1i,,w1N),     w1i=N1,     i=1,2,,N②对 m = 1 , 2 , ⋯   , M m=1,2,\cdots,M m=1,2,,M
(a) 使用具有权值分布 D m D_m Dm的训练数据集学习,得到基本分类器 G m ( x ) : X → { − 1 , + 1 } G_m(x):X\rightarrow\{-1,+1\} Gm(x):X{ 1,+1}(b) 计算 G m ( x ) G_m(x) Gm(x)在训练数据集上的分类误差率KaTeX parse error: Unknown accent ' ̸' at position 16: e_m=P(G_m(x_i)≠̲̲y_i)=\sum_{G_m(…© 计算 G m ( x ) G_m(x) Gm(x)的系数 α m = 1 2 l o g 1 − e m e m                ( 1 ) α_m={1\over2}log{ {1-e_m}\over{e_m}}\ \ \ \ \ \ \ \ \ \ \ \ \ \ (1) αm=21logem1em              (1)这里的对数是自然对数
(d) 更新训练数据集的权值分布 D m + 1 = ( w m + 1 , 1 , ⋯   , w m + 1 , i , ⋯   , w m + 1 , N ) D_{m+1}=(w_{m+1,1},\cdots,w_{m+1,i},\cdots,w_{m+1,N}) Dm+1=(wm+1,1,,wm+1,i,,wm+1,N) w m + 1 , i = w m i Z m exp ⁡ ( − α m y i G m ( x i ) ) ,          i = 1 , 2 , ⋯   , N           ( 2 ) w_{m+1,i}={ {w_{mi}}\over{Z_m}}\exp(-α_my_iG_m(x_i)),\ \ \ \ \ \ \ \ i=1,2,\cdots,N\ \ \ \ \ \ \ \ \ (2) wm+1,i=Zmwmiexp(αmyiGm(xi

  • 3
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值