超级会员免费看
AdaBoost是一种Boosting算法，通过迭代训练弱学习机并调整样本权重，聚焦于分类错误的样本，从而构建强分类器。相较于Bagging，AdaBoost能同时降低偏差和方差，但可能引发过拟合。本文详细介绍了AdaBoost的原理、实例和sklearn库的应用，展示了其决策边界的复杂性，并指出其计算成本与性能之间的权衡。
一、Boosting算法
Boosting集成分类器包含多个非常简单的成员分类器，这些成员分类器的性能仅好于随机猜想，常被称为弱学习机。典型的弱学习机的例子就是单层决策树。Boosting算法主要针对难以区分的样本，弱学习机通过在分类错误的样本上进行学习来提高继承分类器的分类性能。Boosting与Bagging不同，在Boosting的初始化阶段采用的是无返回抽样从训练样本中随机抽取一个子集，而Bagging采用的是有放回的抽取。Boosting的过程由四个步骤组成：
1、从训练集D中以无放回抽样方式随机抽取一个训练子集d1，用于弱学习机C1的训练。
2、从训练集D中以无放回抽样方式随机抽取一个训练子集d2，并将C1中误误分类样本的50%加入到训练集中，训练得到弱学习机C2。
3、从训练集D中抽取C1和C2分类结果不一致的训练样本生成训练样本集d3，用d3来训练第三个弱学习机C3。
4、通过多数投票来组合弱学习机C1、C2和C3。
Boosting与Bagging模型相比，Boosting可以同时降低偏差也方差，Bagging只能降低模型的方差。在实际应用中，Boosting算法也还是存在明显的高方差问题&
订阅专栏 解锁全文
扫一扫
965
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
