利用AdaBoost方法构建多个弱分类器进行分类

1.AdaBoost 思想

补充：这里的若分类器之间有比较强的依赖关系;对于若依赖关系的分类器一般使用Bagging的方法

弱分类器是指分类效果要比随机猜测效果略好的分类器，我们可以通过构建多个弱分类器来进行最终抉择（俗话说，三个臭皮匠顶个诸葛亮大概就这意思）。首先我们给每个样例初始化一个权重，构成向量D，然后再更新D，更新规则如下：

当一个样例被分类器正确分类时，我们就减小它的权重

否则，增大它的权重

 

 

对于每个弱分类器，我们根据它对样例分类错误率来设置它的权重alpha,分类错误率越高，相应的alpha就会越小，如下所示

 

最终我们训练出多个弱分类器，通过加权分类结果，输出最终分类结果，如下图所示

2.实验过程

  1 # -*- coding: utf-8 -*-
  2 """
  3 Created on Wed Mar 29 16:57:37 2017
  4 
  5 @author: MyHome
  6 """
  7 import  numpy as np
  8 
  9 '''返回分类结果向量'''
 10 def stumpClassify(dataMatrix,dimen,threshVal,threshIneq):
 11     retArray = np.ones((np.shape(dataMatrix)[0],1))