模型融合

模型融合，如果是分类问题用voting解决 。如果是回归问题用average解决。
注意：在bagging集成中，各个模型的预测不会彼此依赖。Bagging算法不用我们自己实现，随机森林就是基于Bagging算法的一个典型例子，采用的基分类器是决策树。可以直接调用。
Boosting的思想是一种迭代的方法，它每次训练使用的都是同一个训练集。但是每次它会给这些分类错误的样例增加更大的权重，下一次迭代的目标就是能够更容易辨别出上一轮分类错误的样例。最终将这些弱分类器进行加权相加。
注意：Boosting下一次的迭代必须在上一次的基础上。
同样地，基于Boosting思想的有AdaBoost、GBDT等，也可以直接调用。
stacking是一种分层模型集成框架。以两层为例，第一层由多个基学习器组成，其输入为原始训练集，第二层的模型则是以第一层基学习器的输出作为训练集进行再训练，从而得到完整的stacking模型。