《机器学习》第八章——集成学习

1.个体与集成

生活中的 集成学习 综合多方意见，得出结论

面对同样的问题，根据不同的算法针对同一个数据运行，得出的结果以投票的方式，少数服从多数

2.Boosting

集成多个模型

每个模型都在尝试增强（Boosting）整体的效果

每一次生成的子模型都是在弥补上一次生成模型 没有成功预测的样本点。

点和点之间的权重不一样

3.Bagging

问题：虽然有很多机器学习方法，但是从投票的角度看，仍然不够多。

答：创建更多的子模型！集成更多的子模型的意见。

       子模型之间不能一致！子模型之间要有差异性。

问：如何创建差异性？

答：每个子模型只看样本数据的一部分。

例如：一共有500个样本数据；每个子模型只看100个样本数据，每个子模型不需要太高的准确率。

取样：放回取样，不放回取样

放回取样：Bagging     不放回取样：pasting

Bagging 更常用 

4.结合策略

5.多样性