本次学习模型融合,主要方法有算数平均,几何平均,投票,stacking,blending,boosting/bagging。
其中,算数平均和几何平均就是用字面意思对多个模型的预测结果做平均;投票就是对多个模型的分类结果进行少数服从多数的投票,也可以给不同模型不同权重,stacking就是用多层计算的方法,把第一层计算出来的结果作为新的变量放入第二层中,等于修正了模型,blending和stacking类似,但是是切出一部分训练集作为第二层的训练集,blending的优点是没有信息泄露,缺点是数据量太小,且因为没有kfold,稳定性较差。
已经在xgboost中已经用到,不太需要再在最后做融合)