有幸参加了阿里云举办的零基础入门金融风控-贷款违约预测训练营。收获颇多。
每天记录一些自己之前的知识盲点,需经常温习。
第五次的学习任务,是模型融合。
一、模型融合常用方法
模型融合有常用的如下六种方法:
1、平均:
a. 简单平均法
b.加权平均法
2、投票:
a.简单投票法
b.加权投票法
3、 综合:
a. 排序融合
b. log融合
4、stacking:
a. 构建多层模型,并利用预测结果再拟合预测
5、 blending:
a. 选取部分数据预测训练得到预测结果作为新特征,带入剩下的数据中预测。Blending只有一层,而Stacking有多层
6、 boosting/bagging:
集成方法主要包括Bagging和Boosting,Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,
形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法,只是整合的方式不一样,最
终得到不一样的效果。常见的基于Baggin思想的集成模型有:随机森林、基于Boosting思想的集成模型有:
Adaboost、GBDT、XgBoost、LightGBM等。
(1). 样本选择上: Bagging方法的训练集是从原始集中有放回的选取,所以从原始集中选出的各轮训练集之间是独
立的;而Boosting方法需要每一轮的训练集不变,只是训练集中每个样本在分类器中的权重发生变化。而权值
是根据上一轮的分类结果进行调整;
(2). 样例权重上: Bagging方法使用均匀取样,所以每个样本的权重相等;而Boosting方法根据错误率不断调整样
本的权值,错误率越大则权重越大;
(3). 预测函数上: Bagging方法中所有预测函数的权重相等;而Boosting方法中每个弱分类器都有相应的权重,对
于分类误差小的分类器会有更大的权重;
(4). 并行计算上: Bagging方法中各个预测函数可以并行生成;而Boosting方法各个预测函数只能顺序生成,因为
后一个模型参数需要前一轮模型的结果。
二、stacking/blending详解
未完持续。。。