平均:
- 简单平均法
- 加权平均法
投票:
- 简单投票法
- 加权投票法
综合:
- 排序融合
- log融合
Blending&stacking
stacking:
构建多层模型,并利用预测结果再拟合预测。
blending:
- 选取部分数据预测训练得到预测结果作为新特征,带入剩下的数据中预测。
- boosting/bagging(在Task4中已经提及,就不再赘述)
Blending与stacking的不同
stacking:
(1)stacking中由于两层使用的数据不同,所以可以避免信息泄露的问题。
(2)在组队竞赛的过程中,不需要给队友分享自己的随机种子。
Blending:
(1)由于blending对将数据划分为两个部分,在最后预测时有部分数据信息将被忽略。
(2)同时在使用第二层数据时可能会因为第二层数据较少产生过拟合现象。