KAGGLE ENSEMBLING GUIDE

KAGGLE ENSEMBLING GUIDE

标签（空格分隔）： 未分类

---

本文主要引自KAGGLE ENSEMBLING GUIDE，有兴趣的可以直接到原文去看，本文是对其原文做的一些总结。

Ensemble方法是机器学习中一种很重要的方法，本文主要讲了两部分：一部分是直接对submission file进行ensemble,另一部分是使用stack/blend方法。

通过submissin file进行ensemble

直接利用模型生成的submissionfile来进行ensemble非常的方便，尤其是在团队进行工作的时候。
1. 直接利用各submission的结果进行投票。
利用该种方法，当ensemble越多的时候，越能得到好的效果。但是，最好能使用的是线性关系较弱的文件，也就是皮尔森相似度较低的两类共同ensemble.
2. 根据权重进行投票
对于效果好的模型，我们给他更高的投票权重。
3. 取平均
对所得的结果取其平均值
4. 排序取平均

具体源代码可以参考这里

stacking&blending

所谓的stack以及blending的意思就是：
先用model拟合出一个模型的预测值，然后再用一个模型拟合出来。
所以有时候两者