什么是集成学习方法?
集成学习有以GBDT为代表的boosting方法和以RF为代表的Bagging方法,今天我们介绍另外一种stacking方法。stacking在kaggle中大为光火,很多高分选手都用了此方法,在工业界应用不详,还请知道的大神详解。
Stacking流程
在第一阶段,将训练数据均匀地分成 5份,使用“留一法”训练 5个逻辑回归模型,用这 5个模型分别去预测剩下的一份训练数据和测试数据,将 5份预测的训练数据合并,可以得到一份新的训练数据 NewTrainingData,将 5份预测的测试数据采用均值法合并,得到一份新的测试数据 NewTestData。用同样的方法再分别训练随机森林、gbdt、 XGBoost,lightgbm,新的训练和测试数据上,就可以得到 5个模型的分数。
第二阶段,将上一阶段的 NewTraningData 作为训练数据, NewTestData 作为测试数据,重新训练一个 XGBoost 模型,得到最终的预测分数。这种方法可以避免过拟合,学习出特征之间组合的信息,还能提高预测的准确率。
如下图简单明了。
如果还是不明白,举个例子吧。
第一部分是用一个基础模型进行5折交叉验证,如:用LR作为基础模型Model1,5折交叉验证就是先拿出四折作为training data,另外一折作为testing data。注意:在stacking中此部分数据会用到整个traing set。如:假设我们整个training set包含10000行数据,testing set包含2500行数据,那么每一次交叉验证其实就是对training set进行划分,在每一次的交叉验证中training data将会是8000行,testing data是2000行。
每一次的交叉验证包含两个过程,1. 基于training data训练模型;2. 基于training data训练生成的模型对testing data进行预测。在整个第一次的交叉验证完成之后我们将会得到关于当前testing data的预测值,这将会是一个一维2000行的数据,记为a1。注意!在这部分操作完成后,我们还要对数据集原来的整个testing set进行预测,这个过程会生成2500个预测值,这部分预测值将会作为下一层模型testing data的一部分,记为b1。因为我们进行的是5折交叉验证,所以以上提及的过程将会进行五次,最终会生成针对testing set数据预测的5列2000行的数据a1,a2,a3,a4,a5,对testing set的预测会是5列2500行数据b1,b2,b3,b4,b5。
在完成对Model1的整个步骤之后,我们可以发现a1,a2,a3,a4,a5其实就是对原来整个training set的预测值,将他们拼凑起来,会形成一个10000行一列的矩阵,记为A1。而对于b1,b2,b3,b4,b5这部分数据,我们将各部分相加取平均值,得到一个2500行一列的矩阵,记为B1。
以上就是stacking中一个模型的完整流程,stacking中同一层通常包含多个模型,假设还有Model2: LR,Model3:RF,Model4: GBDT,Model5:SVM,对于这四个模型,我们可以重复以上的步骤,在整个流程结束之后,我们可以得到新的A2,A3,A4,A5,B2,B3,B4,B5矩阵。
第二部分,我们把A1,A2,A3,A4,A5并列合并得到一个10000行五列的矩阵作为training data,B1,B2,B3,B4,B5并列合并得到一个2500行五列的矩阵作为testing data。让下一层的模型,基于他们进一步训练。
最后,找个项目练练手吧。
扫描下方二维码关注领取程序员必备千套ppt模板,300本精选好书,丰富面经:
![](https://i-blog.csdnimg.cn/blog_migrate/0595f4d403e6ce6eb093d417ee251bda.jpeg)