模型融合定义:
大概意思就是三个臭皮匠订个诸葛亮吧,把若干个一般的模型进行融合,获取一个更优的模型。
模型融合的层次
结果层面的融合:对不同的结果进行融合,要求就是结果是得分尽量相近,但是结果的差异尽量大。
特征层面的融合:适用于同种模型进行训练的时候,可以把特征切割给不同的模型
模型层面的融合:不同模型的融合效果比较好,同种模型不同参数的融合效果一般。
模型融合的方法
(1)简单加权融合:包含回归问题中的算术平均融合和几何平均融合,分类问题中的投票(Voting)和综合排序融合
(2)stacking/blending:主要用于构建多层模型时
(3) boosting/bagging