第八章 集成学习

题

8.1

8.2 待补

8.3 待补

8.4

P190介绍了AdaBoost实质上是基于加性模型以类似于牛顿迭代法来优化指数损失函数。。受此启发，通过讲迭代优化过程替换为其他优化方法，产生了GradientBoosting等变体算法。

8.5 待补

8.6

8.6.1 偏差与方差解释：https://www.zhihu.com/question/20448464

Bagging主要是降低分类器的方差，而朴素贝叶斯分类器没有方差可以减小。对全训练样本生成的朴素贝叶斯分类器是最优的分类器，不能用随机抽样来提高泛化性能。

8.7

P181因为在个体决策树的构建过程中，Bagging使用的是“确定型”决策树，即在选择划分属性时要对结点的所有属性进行考察，而随机森林使用的“随机型”决策树只需考察一个属性子集。

8.8 待补

8.9 待补

8.10

采用Bagging训练多个多个分类器，最后采用相对多数投票法得出结果。