AdBoost算法详解

算法引入:
 对于Boosting算法,存在两个问题
  在每一轮中如何调整训练集,使训练的弱分类器得以进行
  如何将各个弱分类器联合起来形成强分类器
 Boosting框架中的代表算法是AdaBoost算法.

1 算法简介

属于集成学习中的串行学习方法.
AdaBoost自适应提升算法和Boosting考虑的点一样
AdaBoost自适应在于:’’关注”被错分的样本,”器重”性能好的弱分类器
 不同的训练集–>调整样本的权重
 “关注”—>增加错分样本权重
 “器重”---->好的分类器权重大
 样本权重间接影响分类器权重

1.2AdaBoost特点

AdaBoost把多个不同的弱分类算法,用一种随机的方式组合起来,表现出惊人的性能.
 1.可以使用各种方法构建子分类器(弱分类器),AdaBoost算法提供的是框架
 2.子分类器容易构造
 3.速度快,且基本不用调参数
 4.泛化误差率低

1.3Bagging与AdaBoost区别

 Bagging算法:并行,提供的是我们抽样(62.3%)后的数据集进行并行训练(好像是取结果的平均值,所以才减小方差)
 AdaBoost算法:串行,根据全部数据集建立模型,关注偏差.

2AdaBoost算法步骤

 1.初始化训练数据的权值分布:假设有N个样本,每个样本赋予相同权值1/N
 2.训练弱分类器:本轮训练中,提高错分样本的权值,相反分类正确的样本降低权值.然后,权值更新后的全部样本被用于训练下一个分类器,使得下一个分类器更加关注权值大的难分样本.多次迭代,训练多个弱分类器
 3.加权组合弱分类器:加大分类误差率小的弱分类器权重,使其在最终表决中起较大作用,而降低分类误差率大的弱分类器的权重,使其在最终表决汇总起较小作用
示例:


图1 下面的两个蓝色的圆形表示被分错的两个样本,所以可以在图2中看到他们的权重加大了,其他分类正确的样本的权重减少了
图4就是前面三个弱分类器加权组合后,用相同的数据集得到的二分类结果

3 AdaBoost的数学定义

这部分主要是知道了数据集样本的权值是怎么更新的,弱分类器的权重是怎么计算出来的.

可以把xi理解为一个多个维度组成的一个x

wi就是一个样本权值集合

用有权值分布的数据集去弱分类器中训练. 因为这里的弱分类器都是二分类器,且预测值都为-1,1
弱分类器,输出的结果只有-1,1

其中这个函数的理解:
弱分类器的预测结果与样本对应的真实结果yi不相等时返回1,相等时返回0



em是当前弱分类器误分类样本的权重之和,1-em是当前弱分类器正确分类样本的权重之和


这里Zm的作用:
使上面公式中所有样本求得的Wmi*e-αm值分别除以Zm之后,数据集样本的权值之和为1,可以理解为权值的归一化处理


因为最终的分类器也要是一个二分类器,所以对基本分类器权值的线性组合后要做进一步的处理,由sign函数知道y的取值只能为-1,+1
补充:AdaBoost算法的损失函数用的是指数损失(指数损失用在分类问题中)

4 推广到多分类

 多分类问题可以使用二分类问题的思想来解决问题,ovr,ovo.