集成算法 学习笔记（一）

什么是集成学习：
也就是集成多个算法，让不同的算法对同一组数据进行分析，得到结果。

常见的集成方式有：
bagging（统计学中的叫法为bootstrap）
boosting

bagging的方式
1.hard voting：少数服从多数
2.soft voting ：有权重的少数服从多数

boosting的方式
1.Adaboost
2.Gradient boost

Bagging vs Boosting

-	装袋法Bagging	Adaboost
评估器	相互独立，同时运行	相互关联，按顺序依次构建，后建模型会在先建模型预测失败的样本上有更多的权重
抽样数集	有放回抽样	有放回抽样，但会更新数据的权重 更容易预测失败的样本会有更多的权重
决定集成的结果	平均或少数服从多数的原则	加权平均，在训练集上表现更好的模型会有更大的权重
目标	降低方差，提高模型整体的稳定性	降低偏差，提高模型整体精确度
单个评估器存在过拟合问题的时候	能够一定程度上解决过拟合问题	可能会加剧过拟合问题
单个评估器的效力比较弱的时候	不是非常有帮助	很可能会提升模型表现