【天池】金融风控-贷款违约预测（五）—— 模型融合

前言

【天池】金融风控-贷款违约预测（赛题链接）。
上一篇进行数据建模和模型调参的介绍，主要介绍了金融风控领域常用的机器学习模型以及机器学习模型的建模过程与调参流程。本篇是将之前建模调参的结果进行模型融合。 尝试多种融合方案，提交融合结果。

内容介绍

模型融合是比赛后期上分的重要手段，特别是多人组队学习的比赛中，将不同队友的模型进行融合，可能会收获意想不到的效果，往往模型相差越大且模型表现都不错的前提下，模型融合后结果会有大幅提升，以下是模型融合的方式。

1. 平均：
   a.简单平均法
   b.加权平均法
2. 投票：
   a.简单投票法
   b.加权投票法
3. 综合：
   a.排序融合
   b.log融合
4. stacking:
   构建多层模型，并利用预测结果再拟合预测。
5. blending：
   选取部分数据预测训练得到预测结果作为新特征，带入剩下的数据中预测。
6. boosting/bagging（在金融风控-贷款违约预测（四）—— 建模与调参中已经介绍）

stacking\blending详解

1.stacking 将若干基学习器获得的预测结果，将预测结果作为新的训练集来训练一个学习器。如下图 假设有五个基学习器，将数据带入五基学习器中得到预测结果，再带入模型六中进行训练预测。但是由于直接由五个基学习器获得结果直接带入模型六中，容易导致过拟合。所以在使用五个及模型进行预测的时候，可以考虑使用K折验证，防止过拟合。

2.blending 与stacking不同，blending是将预测的值作为新的特征和原特征合并，构成新的特征值，用于预测。为了防止过拟合，将数据分为两部分d1、d2，使用d1的数据作为训练集，d2数据作为测试集。预测得到的数据作为新特征使用d2的数据作为训练集结合新特征，预测测试集结果。