数据挖掘 - 模型融合

“如果你没有什么好的思路的话，那么就模型融合吧！”

1. 简单加权融合:

• 回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；

对于回归问题，一个简单直接的思路是取平均。稍稍改进的方法是进行加权平均。权值可以用排序的方法确定，举个例子，比如A、B、C三种基本模型，模型效果进行排名，假设排名分别是1，2，3，那么给这三个模型赋予的权值分别是3/6、2/6、1/6

• 分类：投票（Voting)：假设对于一个二分类问题，有3个基础模型，那么就采取投票制的方法，投票多者确定为最终的分类。投票的模型越多，那么显然其结果将会更好。但是其前提条件是模型之间相互独立，结果之间没有相关性。越相近的模型进行融合，融合效果也会越差。

综合：排序融合(Rank averaging)，log融合

Bagging或者Boosting都是一种把许多弱分类器这样融合成强分类器的思想。

2. stacking/blending:

• 构建多层模型，并利用预测结果再拟合预测。

简单来说 stacking 就是当用初始训练数据学习出若干个基学习器后，将这几个学习器的预测结果作为新的训练集，来学习一个新的学习器。