集成学习提升算法-Adaboost

Adaboost 算法原理及推导

Adaboost 是Boosting算法的代表。Boosting可将许多弱学习器组合达到强学习器的效果。

Adaboost 是通过提升错分数据的权重值来改善模型的不足。
其主要的流程是：

1. 先训练一个基学习器；
2. 根据基学习器的表现，改变样本的分布，使得错误分类的样本得到更多的关注；
3. 改变分布后的样本再训练新的基学习器，如此迭代；
4. 加权组合这些基学习器。

一、Adaboost算法原理

“Adaptive Boosting”（自适应增强）

Adaboost算法中，每个样本有对应的权重D,每个基分类器也有对应的权重α，然后是下边的三步骤：

Step1：初始化训练集的权重；