对stacking有非常轻微的了解,在这个过程中对我来说更多的是去了解这个过程,14天的时间限制下强迫自己快速看完了几个库的基本用法,这次结束后得去补笔记了,很高兴有机会逼一下自己。谈不上学习。自己要走的路还很长,但是腿更长!
5.1 模型融合目标
对于多种调参完成的模型进行模型融合。
完成对于多种模型的融合,提交融合结果并打卡。
5.2 内容介绍
模型融合是比赛后期一个重要的环节,大体来说有如下的类型方式。
简单加权融合:
回归(分类概率):算术平均融合(Arithmetic mean),几何平均融合(Geometric mean);
分类:投票(Voting)
综合:排序融合(Rank averaging),log融合
stacking/blending:
构建多层模型,并利用预测结果再拟合预测。
boosting/bagging(在xgboost,Adaboost,GBDT中已经用到):
多树的提升方法
5.3 Stacking相关理论介绍
- 什么是 stacking
简单来说 stacking 就是当用初始训练数据学习出若干个基学习器后,将这几个学习器的预测结果作为新的训练集,来学习一个新的学习器。
将个体学习器结合在一起的时候使用的方法叫做结合策略。对于分类问题,我们可以使用投票法来选择输出最多的类。对于回归问题,我们可以将分类器输出的结果求平均值。
上面说的投票法和平均法都是很有效的结合策略,还有一种结合策略是使用另外一个机器学习算法来将