AdaBoost

你会弹琴吗

于 2019-12-01 10:40:23 发布

阅读量136

点赞数

本文链接：https://blog.csdn.net/weixin_45568353/article/details/103332851

版权

本文探讨集成学习中的AdaBoost算法，通过结合弱分类器形成强分类器。内容涉及AdaBoost的工作原理，包括样本权重计算、错误率评估、弱学习算法权重分配等步骤。同时，解释了决策树桩作为弱分类器的角色，以及如何通过调整阈值找到最佳分类器。AdaBoost的运用，如与决策树结合形成提升树，旨在提高分类效果。

摘要由CSDN通过智能技术生成

一
前面的文章已经介绍了五种不同的分类器，它们各有优缺点。我们可以很自然地将不同的分类器组合起来，而这种组合结果则被成为集成方法(ensemble method)或者元算法(meta-algorithm)。使用集成方法时会有多种形式：可以是不同算法的集成，也可以是同一种算法在不同设置下的集成，还可以是数据集不同部分分配给不同分类器之后的集成

分类器一般采用的是弱可学习（weakly learnable）分类器，通过集成方法，组合成一个强可学习（strongly learnable）分类器。所谓弱可学习，是指学习的正确率仅略优于随机猜测的多项式学习算法；强可学习指正确率较高的多项式学习算法。集成学习的泛化能力一般比单一的基分类器要好，这是因为大部分基分类器都分类错误的概率远低于单一基分类器的。

集成方法主要包括Bagging和Boosting两种方法，Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法，即将弱分类器组装成强分类器的方法

在这里插入图片描述

这两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最终得到不一样的效果，将不同的分类算法套入到此类算法框架中一定程度上会提高了原单一分类器的分类效果，但是也增大了计算量。