机器学习 模型融合

1.Voting

        投票法针对分类模型，多个模型的分类结果进行投票，少数服从多数。除了公平投票外，还可以给投票设置权重，分类器效果越好权重越高，分类器效果越差，权重越低。

2.Averaging

回归问题：直接取平均值作为最终的预测值，也可以使用加权平均。
分类问题：直接将模型的预测概率做平均，也可以使用加权平均。
可以把所有模型预测的结果作为新的特征，再通过线性回归计算出权重

3.Ranking

Ranking融合适合排序评估指标，对auc比较有效。具体公式如下：

                                                                                                

        其中，n表示模型个数，表示该样本在第i个模型的权重，所有权重相同表示平均融合，