【机器学习】AdaBoost 原理与推导

AdaBoost 自适应 增强
            Boosting系列代表算法，对同一训练集训练出不同的(弱)分类器，然后集合这些弱分类器构成一个更优性能的(强)分类器
            传统Boosting方法存在两个问题：
                1. 如何调整训练集的权重分布以训练出不同的弱分类器
                2. 如何将各个弱分类器联合起来组成一个强分类器

            AdaBoost解决方案：
                1.从均匀权重分布开始，后一轮弱分类器的输入权重分布将
                    ·提高前一轮弱分类器分类错误样本的权重
                    ·降低前一轮弱分类器分类正确样本的权重
                2.计算各个弱分类器 在训练集上的分类误差率，根据误差率计算各个弱分类器的 加权系数
                    ·对新样本进行分类时，将各个弱分类器的计算结果加权求和，求得最终的分类结果

假设训练一个含有m个弱分类器Gi(i=1,2,...,m)的AdaBoost模型,n个训练样本xj,yj(j=1,2,...n),m个弱分类器输入权重分布 分别为 
                第一个分类器：D1(w11, w12, ..., w1j, ..., w1n)
                第二个分类器：D2(w21, w22, ..., w2j, ..., w2n)
                          ....       ：...
                第m个分类器：Dm(wm1,wm2,...,