Datawhale模型融合

模型融合类型方式：

       1、简单加权融合：

               回归（分类概率）：算术平均融合，几何平均融合

               分类:投票

               综合：排序融合，log融合

        2、stacking/blending

                构建多层模型，并利用预测结果再拟合

        3、boosting/bagging

                多树得提升方法

 

2)什么是stacking?

简单来说stacking就是利用初始训练数据学习出若干和学习器，将这几个学习器预测得结果作为新得训练集，

来学习一个新的学习器。

3）模型说明

         1、次级模型尽量选择简单得线性模型。

          2、利用K折进行交叉验证

 

代码示例：

   1）简单得加权平均，结果直接融合

 

   2)特殊加权融合形式，mean平均，median平均：

stacking融合(回归)：

可以发现模型结果相对于之前有进一步的提升，这是我们需要注意的一点是，对于第二层Stacking的模型不宜选取的过于复杂，这样会导致模型在训练集上过拟合，从而使得在测试集上并不能达到很好的效果。

分类模型融合

    1）Voting投片机制

          voting分为软投票和硬投票，原理采用少数服从多数得思想。

from  sklearn.ensemble import VotingClassifier

软投票：

 

经验总结：

    1）结果层面得融合，有一个重要得条件就是模型得分比较近似，然后结果得差异要比较大，这样得结果融合往往有比较号得效益提升。

    2）特征层面得融合，主要是将特征进行分割给不同得模型，然后进行预测，这样得结果有时产生比较好的结果。

    3）模型层面的融合，部分模型的结果作为特征输入等，常用树模型等集成模型后面加个LR或者线性模型。最好模型层面的融合最好不同类型，有一定的差异/同种模型最好不同参数或者不同特征。