关于模型融合的原理以及模型融合的各种方法的文章帖子太多太多,不得不说千篇一律,然而模型融合怎么总感觉是‘别人家的模型融合’,自己模型融合效果没有提升反而下降了呢?我们说说被称为kaggle后期杀手锏的Stacking。
一、简单说下Stacking最核心的两个点,推荐以下文章了解stacking其他内容。
1、我们知道Bagging是一种集成框架,它的基学习器追求的是“弱而不同”。bagging中的学习器往往是决策树,主要就是看中了决策树的不稳定性(instability)。过于准确的基学习器会使得bagging的集成失去意义。
Stacking也可以认为是一种集成框架,不过有别于Bagging的是,Stacking是集百家之长,即集多个不同模型的长处而产生更好的结果。即要求各个基分类器满足:差异化(diversity)要大、准确性(accuracy)要高
同样是集成模型,为什么两者的基学习器恰恰相反呢?