一、概念
AdaBoost(自适应提升)是一种集成学习(Ensemble Learning)算法,属于Boosting家族。其核心思想是:通过迭代训练一系列“弱分类器”(性能略优于随机猜测,如决策树桩),并根据每个弱分类器的表现赋予不同权重,最终将它们加权组合成一个“强分类器”。
“自适应”体现在:每个弱分类器训练时,会自适应地调整样本权重——前一个分类器错分的样本权重会被放大,使得下一个分类器更关注这些难分样本,从而逐步提升整体性能。
二、核心理论
AdaBoost的工作流程可概括为4步迭代过程:
- 初始化样本权重:所有样本初始权重相等(如 wi=1/Nw_i = 1/Nw