西瓜书第八章学习笔记

1 知识脉络

2 内容补充

8.1节补充

1. 集成学习中个体学习器泛化误差率要小于50%且要有“多样性”。
2. 集成学习核心：如何产生并结合“好而不同”的学习器是研究核心。

8.2节补充

3. AdaBoost推导证明：一些对于AdaBoost用、证明的补充和解释，并用我自己的思路捋了一遍。过程见链接AdaBoost推导
4. 对分布重新更新的一些说明：集成学习对于个体学习器的要求是好而不同，要求个体学习器尽可能互相独立，但是这些学习器都是基于同一个训练集训练来的，不可能互相独立。AdaBoost的处理方法是通过赋权的方法更改训练集分布，使得每次迭代中，新的分类器都是基于不同分布的样本集训练得来，而且每个训练来的分类器在调整之后的样本集中的预测都相当于随即猜测，即泛化错误率0.5。通过这种分布不断调整来实现“不同”。

8.3节补充