AdaBoost装袋提升算法

最新推荐文章于 2023-02-26 10:22:42 发布

Android路上的人

最新推荐文章于 2023-02-26 10:22:42 发布

阅读量1.1w

点赞数 4

分类专栏：机器学习算法数据挖掘经典数据挖掘算法文章标签：数据挖掘机器学习数据

本文链接：https://blog.csdn.net/androidlushangderen/article/details/43635115

版权

AdaBoost是一种迭代的提升算法，源于bagging思想并加以改进，通过赋予分类错误样本更高的权重，逐步构建弱分类器并组合成强分类器。该算法在每个迭代中调整样本权重，使得分类错误的样本在后续分类器中得到更多关注。文章介绍了算法原理，包括错误率计算、权重调整，以及一个具体的分类实例，展示了即使简单分类器也能通过组合实现高效分类。最后，讨论了AdaBoost在特征识别和二分类问题上的应用及其优势。

摘要由CSDN通过智能技术生成

参开资料：http://blog.csdn.net/haidao2009/article/details/7514787
更多挖掘算法：https://github.com/linyiqun/DataMiningAlgorithm

介绍

在介绍AdaBoost算法之前，需要了解一个类似的算法，装袋算法(bagging)，bagging是一种提高分类准确率的算法，通过给定组合投票的方式，获得最优解。比如你生病了，去n个医院看了n个医生，每个医生给你开了药方，最后的结果中，哪个药方的出现的次数多，那就说明这个药方就越有可能性是最由解，这个很好理解。而bagging算法就是这个思想。

算法原理

而AdaBoost算法的核心思想还是基于bagging算法，但是他又一点点的改进，上面的每个医生的投票结果都是一样的，说明地位平等，如果在这里加上一个权重，大城市的医生权重高点，小县城的医生权重低，这样通过最终计算权重和的方式，会更加的合理，这就是AdaBoost算法。AdaBoost算法是一种迭代算法，只有最终分类误差率小于阈值算法才能停止，针对同一训练集数据训练不同的分类器，我们称弱分类器，最后按照权重和的形式组合起来，构成一个组合分类器，就是一个强分类器了。算法的只要过程：

1、对D训练集数据训练处一个分类器Ci

2、通过分类器Ci对数据进行分类，计算此时误差率

3、把上步骤中的分错的数据的权重提高，分对的权重降低，以此凸显了分错的数据。为什么这么做呢，后面会做出解释。

完整的adaboost算法如下