机器学习(五)监督学习---AdaBoost

 
 
AdaBoost 是基于"加性模型" (additive model) ，即基学习器的线性组合。

• 样本权重D_t(i) 越大，说明分类器对这个样本分类应该更准确，注意，一定要将样本权重和分类器权重区分开来。
• 用全部数据先获得第一个弱分类器，然后再更新，获得第二个，依次向下，迭代T次，最后线性组合获得最终强分类器。

• 更新Update distribution这一步可以看出：①当某个点的label和弱分类器给出的label不一样时，那么乘积一定是负数，然后 D_t(i) < D_t+1(i)，即样本权重增加。②若一致，则权重减小。
• 阐述：假设要对下图进行分类：
                
  第一步： 训练得到一个初步弱分类器；
                
  第二步： 更新样本点的权重；
                
  第三步： 重新获得新的弱分类器；
                
  第四步： 再次更新样本点的权重；
                
  第五步： 依次重复，最后得到强分类器。