【漫话机器学习系列】018.Boosting算法

Boosting算法：集成学习的重要方法

Boosting 是一种集成学习方法，通过将多个弱学习器（weak learners）组合成一个强学习器（strong learner），以提高模型的预测准确性。Boosting 算法在迭代过程中会关注那些被前一轮学习器错误分类的样本，逐步提升整体模型的表现。

---

Boosting的工作原理

Boosting 的核心思想是逐步改进：

1. 初始化样本权重，赋予每个样本相等的权重。
2. 在每轮迭代中，训练一个弱学习器（例如决策树），并根据其在当前加权样本上的错误率评估性能。
3. 更新样本权重：提高被当前弱学习器分类错误的样本权重，使其在下一轮中得到更多关注。
4. 最终将多个弱学习器的输出按照权重加权组合成最终的强学习器。

---

Boosting的数学表示

假设我们有一个数据集 ，目标是通过 Boosting 构造一个强学习器 H(x)。

1. 初始化样本权重
   初始化每个样本的权重 为：