集成算法就是训练一堆基学习器,然后通过某种策略把各个基学习器的结果进行合成,从而得到集成学习器的结果。
优点
1)提高泛化性能 2)降低进入局部最小点的风险 3)扩大假设空间
平均法
简单平均、加权平均:对于数值类的回归预测问题,通常使用的结合策略是平均法,也就是说,对于若干个弱学习器的输出进行平均得到最终的预测输出。
对数值型(连续)输出,最常见的结合策略为平均法。
1)简单平均法(simple averaging)
2)加权平均法(weighted averaging)