模型优化之模型融合
一、模型融合的认识、分析
模型融合就是训练多个模型,然后按照一定的方法集成多个模型,因为它容易理解、实现起来也较为简单,同时能增加模型效果。
1.模型融合的概念
先产生一组“个体学习器”,再通过某种策略将它们组合起来,加强模型的效果。
2.模型融合应用广发的原因
可以通过数学证明模型,随着集成中个体分类器数目T的增大,集成的错误率将指数级下降,最终趋向于零。
3.模型融合的条件
个体学习器准确性越高,多样性越大,融合模型越好。
**Base Model之间的相关性要尽可能的小。**这就是为什么非Tree-based Model往往表现不是最好但还是要将它们包括在Ensemblel里面的原因。
**Baes Model之间的性能表现不能差距太大。**这个其实是Trade-off,在实际中和有可能表现相近的Model中只有寥寥几个而且它们之间相关性还不低。但是时间告诉我们即使在这种情况下Ensemble还是能大幅度提高成绩。
4.模型融合的分类
按照个体学习器的分类关系分为两类:
- 个体学习器间存在强依赖关系、必须串行生成的序列化方法;
- 个体学习器之间不存在强依赖关系,可以同时生成的并行化方法;
二、模型融合的结合方法
2.1 平均法
平均法有一般的评价和加权平均。对于平均法来说一般用于回归预测模型中,在Boosting系列融合模型中,一般采用的是加权平均融合。
2.2 投票法
有绝对多数投票(得票数超过一半),相对多数投票(得票最多),加权投票。这个还理解,一般用于分类模型。
2.3 学习法
通过另一个学习器来进行结合,将个体学习器称为初级学习器,用于结合的学习器称为次级学习器或元学习器
(1)Stacking方法:Stacking先从初级数据集训练出初级学习器,然后“生成”一个数据集用于训练次级学习器。在这个新数据集中,初级学习器的输出被当作样例输入特征,而初始样本的标记仍被当作样例标记。
(2)Blending方法:Blending与Stacking大致相同,只是Blending的主要却别在于训练集不是通过K-Fold的CV策略来获得预测集从而生成第二阶段模型的特征,而是建立一个Holdout集。
三、实例
回归/分类概率-融合:
(1)简单加权平均,结果直接融合
通过简单的实现,我们可以发现加权结果相对于之前的结果是有提升的。
还有一些特殊的形式,比如mean平均
,median平均
(2)Stacking融合(回归)
通过实例代码可以发现,模型结果先对于之前有进一步的提升,这是我们需要注意的一点是,对于第二层Stacking的模型不宜选取的过于复杂,这样会导致模型在训练集上过拟合,从而使得在测试集上并不能达到很好的效果。
(3)投票机制(Voting)
Voting即投票机制,分为软投票和硬投票两种,其原理采用少数服从多数的思想。
(4)分类的stacking/blending融合
同上
blending模型
优点在于:
- 比stacking简单(因为不用进行k次的交叉验证来获得stacker feature)
- 避开了一个信息泄露问题:generlizers和stacker使用了不一样的数据集
缺点在于: - 使用了很少的数据(第二阶段的blending只使用了training set10%的量)
- blender可能会过拟合
- stacking使用多次的交叉验证会比较稳健
四、经验总结
模型融合有很多优势:
- 结果层面的融合,这种是最常见的融合方式,其可行的融合方法也有很多种,比如根据结果的得分机型加权融合,还可以做Log,exp处理等。再做结果融合的时候,有一个很重要的条件是模型结果的得分要比较近似,但是结果的擦混一要比较大。
- 特征层面的融合,这个层面主要是队伍合并之后大家可以相互学习特征工程。如果我们使用同种模型训练,可以把特征进行切分给不同模型,然后再后面进行模型或者结果融合优势也能产生比较好的效果。
- 模型层面的融合,这方面会涉及模型的堆叠和设计,需要大量的实验和思考,才能得到比较适合的效果。