Datawhale - 数据挖掘训练营 - Task5 模型融合

5.1 模型融合目标

• 对于多种调参完成的模型进行模型融合。
• 完成对于多种模型的融合，提交融合结果并打卡。

5.2 内容介绍

模型融合是比赛后期一个重要的环节，大体来说有如下的类型方式。

1. 简单加权融合:
   回归(分类概率):算术平均融合(Arithmetic mean)，几何平均融合(Geometric mean); 分类:投票(Voting)
   综合:排序融合(Rank averaging)，log融合
2. stacking/blending:
   构建多层模型，并利用预测结果再拟合预测。
3. boosting/bagging(在xgboost，Adaboost,GBDT中已经用到): 多树的提升方法

5.3 Stacking相关理论介绍

1. 什么是 stacking
   简单来说 stacking 就是当用初始训练数据学习出若干个基学习器后，将这几个学习器的预测结果作为新的训练 集，来学习一个新的学习器。

将个体学习器结合在一起的时候使用的方法叫做结合策略。对于分类问题，我们可以使用投票法来选择输出最多
的类。对于回归问题，我们可以将分类器输出的结果求平均值。
上面说的投票法和平均法都是很有效的结合策略，还有一种结合策略是使用另外一个机器学习算法来将个体机器 学习器的结果结合在一起，这个方法就是Stacking。

在stacking方法中，我们把个体学习器叫做初级学习器，用于结合的学习器叫做次级学习器或元学习器(meta- learner)，次级学习器用于训练的数据叫做次级训练集。次级训练集是在训练集上用初级学习器得到的。

2. 如何进行 stacking
   3)Stacking的方法讲解

经验总结

比赛的融合这个问题，个人的看法来说其实涉及多个层面，也是提分和提升模型鲁棒性的一种重要方法:
1)结果层面的融合，这种是最常见的融合方法，其可行的融合方法也有很多，比如根据结果的得分进行加 权融合，还可以做Log，exp处理等。在做结果融合的时候，有一个很重要的条件是模型结果的得分要比较近 似，然后结果的差异要比较大，这样的结果融合往往有比较好的效果提升。 2)特征层面的融合，这个层面其实感觉不叫融合，准确说可以叫分割，很多时候如果我们用同种模型训 练，可以把特征进行切分给不同的模型，然后在后面进行模型或者结果融合有时也能产生比较好的效果。 3)模型层面的融合，模型层面的融合可能就涉及模型的堆叠和设计，比如加Staking层，部分模型的结果作 为特征输入等，这些就需要多实验和思考了，基于模型层面的融合最好不同模型类型要有一定的差异，用同 种模型不同的参数的收益一般是比较小的。