金融风控训练营Task05学习笔记

学习知识概要

1. stacking/blending讲解
   stacking
   blending
2. 平均法
3. 投票法

学习内容

1. stacking/blending讲解
   其模型的庞大程度与效果的提升程度往往不成正比， 所以一般很难应用于实际生产中。
   1.1 stacking
   本质是一种分层的结构，用了大量的基分类器，将其预测的结果作为下一层输入的特征，这样的结构使得它比相互独立训练模型能够获得更多的特征。
   缺点： 用训练集训练原始模型， 又用训练的模型去预测训练集，会过拟合训练集
   解决方法：
   • 次级模型尽量选择简单的线性模型
   • 利用第一层训练模型使用交叉验证的方式

StackingCVRegressor
分类中的stacking：StackingCVClassifier

1.2 blending
Blending是一种和Stacking很相像的模型融合方式，它建立一个留出集
方法一：
一个单纯的Holdout集，就是我直接把训练集分成两部分
方法二：
把stacking流程中的K-Fold CV 改成 HoldOut CV

平均法：
简单平均：多个预测结果相加并求平均
加权平均：根据预测模型的准确率，加权平均

投票法：
简单投票
加权投票VotingClassifier：参数weights 调节权重

问题与解答

暂无

思考与总结

当单个模型无法准确的预测数据结果时，可以考虑多学习器叠加，从而使模型更加的准确。对不同准确率的预测结果进行适当加权可以得到更好的结果。