1.集成学习内容
2.数学支撑
集成学习的思想背后有比较成熟的数学理论作支撑,也即Valiant和Kearns提出的PAC (Probably approximately correct) 学习框架下的强可学习和弱可学习理论。 该理论指出:在PAC 的学习框架中,一个概念如果存在一个多项式的学习方法能够学习它,并且如果预测正确率很高,那么就称这个概念是强可学习的;如果正确率仅比随机猜测略好,那么就称这个概念是弱可学习的。 随后,Schapire证明了强可学习和弱可学习是等价的,也就是说弱学习模型是可以通过组合提升为强学习模型的,由此便形成了后来的集成学习的思想。
2.bagging && boosting
| 样本选择 | 样例权重 | 预测函数 | 并行计算 |
Bagging | 有放回选取的
各轮训练集之间是独立的 | 均匀取样,权重相等 | 所有预测函数的权重相等 | 各个预测函数可以并行生成
|
Boosting | 权重发生变化 权值是根据上一轮的分类结果进行调整 | 根据错误率不断调整样例的权值,错误率越大则权重越大 | 每个弱分类器都有相应的权重,对于分类误差小的分类器会有更大的权重 | 各个预测函数只能顺序生成, |