集成学习——bagging and boosting

集成学习

将个体的学习器组合起来得到一个更好的结果。

个体学习器

即就是 “弱学习器 ”，选择弱学习器的方法有两种：

1. 选择相同类型的模型，参数不同（同质的）
2. 选择不同类型的模型（异质的）

同质个体学习器的应用是最广泛的，一般常说的集成学习的方法都是指的同质个体学习器。同质个体学习器使用最多的模型是CART决策树和神经网络。同质个体学习器按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间存在强依赖关系，一系列个体学习器基本都需要串行生成，代表算法是boosting系列算法，第二个是个体学习器之间不存在强依赖关系，一系列个体学习器可以并行生成，代表算法是bagging和随机森林（Random Forest）系列算法。

即就是：

1. boosting： 串行的，一个结果依赖另外一个结果。
2. bagging：并行的，最后通过平均或者打分进行结合。

结合策略

1. 平均法： 将N个弱学习器的结果求平均或加权平均；
2. 投票法： 选择多个弱学习器结果最多的结果（一般二分类，按照01值的出现次数）
3. stacking：添加一层学习器，将弱学习器的结果作为input，重新训练进行输出最终结果。