2021-05-04

一.学习知识点概括

本章节主要是对之前的建模调参的结果进行模型融合。主要介绍了stacking和blending这两种技术方法。其次还有平均法，投票法，综合方式，还有之前提及过的boosting和bagging这两种方法。

二.学习内容

1.stacking

stacking的过程如下：

stacking 将若干基学习器获得的预测结果，将预测结果作为新的训练集来训练一个学习器。 假设有五个基学习器，将数据带入五基学习器中得到预测结果，再带入模型六中进行训练预测。但是由于直接由五个基学习器获得结果直接带入模型六中，容易导致过拟合。所以在使用五个及模型进行预测的时候，可以考虑使用K折验证，防止过拟合。

2.blending

Blending与Stacking大致相同，只是Blending的主要区别在于训练集不是通过K-Fold的CV策略来获得预测值从而生成第二阶段模型的特征，而是建立一个Holdout集，例如10%的训练数据，第二阶段的stacker模型就基于第一阶段模型对这10%训练数据的预测值进行拟合。说白了，就是把Stacking流程中的K-Fold CV 改成 HoldOut CV。

blending 与stacking不同，blending是将预测的值作为新的特征和原特征合并，构成新的特征值，用于预测。为了防止过拟合，将数据分为两部分d1、d2，使用d1的数据作为训练集，d2数据作为测试集。预测得到的数据作为新特征使用d2的数据作为训练集结合新特征，预测测试集结果。

Blending的优点在于：
a.比stacking简单（因为不用进行k次的交叉验证来获得stacker feature）
b.避开了一个信息泄露问题：generlizers和stacker使用了不一样的数据集
c.在团队建模过程中，不需要给队友分享自己的随机种子

而缺点在于：
a.使用了很少的数据
b.blender可能会过拟合（其实大概率是第一点导致的）
c.stacking使用多次的CV会比较稳健

三.学习问题与解答

本章节学习了stacking和blending的知识，然后在csdn上也搜索了一些关于这些的知识，感觉有所收获。

四.学习思考和总结

金融风控的学习在本章节就结束了，这十几天的学习让我从不了解到慢慢开始入门数据挖掘，收获很多！