机器学习算法之 元算法 AdaBoost

 元算法是对其他算法组合的一种方式，最流行的元算法AdaBoost (adptive boosting 自适应boosting)。先建立一个单层决策树，

adaboost再单层决策树进行分裂。

 算法原理，
训练：使用弱分类(原则上任何一种分类算法都试用)，每一次训练时对有不同权重的数据得到一个最佳分类结果(分错率最低，权重只对

分错结果影响不参与分类计算)，权重第一次全部相等，结束每次分类后，按分类结果重新计算权重(降低分类正确的权重，提高分类错的

权重)，继续进行分类，直到分类错误率为0或达到最高循环次数。

训练结果：记录每次最佳分类条件(使用特性，门限，及方法)和alpha(由最低分类错误率得到)

分类：
使用得到的最佳分类条件(结果)，对目标数据进行循环分类，并每次分类结果*alpha求和得到最终分类结果

 通过例子原理解释

为了更清楚的看到其原理，使用一维的数据：

datMat = matrix( [[1.1 ], [ 2.8 ], [ 1.5 ], [ 1.3 ], [ 2.2 ]])

classLabels = [1.0, 1.0, -1.0, -1.0, 1.0]

观察上述数据，如果除去第一个数据，假设1.6为分界线，那么就得到全部正确的结果，小于1.6的-1，大于1.6的1

现在再把第一个数据包含进来看，

第一次最佳分类，还是1.6，这样得到的错误率为0.2，分错一个数据(第一个)

 第一次分类：

D: [[0.2 0.2 0.2 0.2 0.2]]
classEst: [[-1. 1. -1. -1. 1.]]
{‘dim’: 0, ‘ineq’: ‘lt’, ‘thresh’: 1.61,
‘alpha’: 0.6931471805599453}

本次结果，classEst * alpha alpha由error率计算得来

thisAggClassEst: [[-0.69314718 0.69314718 -0.69314718 -0.69314718 0.69314718]]

累加结果

aggClassEst: [[-0.69314718 0.69314718 -0.69314718 -0.69314718 0.69314718]]

分错误率

total error: 0.2

本次最佳分类后，D重新计算，即降低分对的，提高分错的，结果如下：

D: [[0.5 0.125 0.125 0.125 0.125]]

**得到新权重D后，再进行最佳分类(最低分错率)，显然不能再取原来的，应该尽量上次分错的(权重高)分对，因为权重高，把它分错的

代价高。上面的红色线应该往数据1侧移动，可以想到第一个数据分错10.5 和其他四个都分错10.125 &