零基础入门金融风控-贷款违约预测-Task05——模型融合

        有幸参加了阿里云举办的零基础入门金融风控-贷款违约预测训练营。收获颇多。

        每天记录一些自己之前的知识盲点，需经常温习。

        第五次的学习任务，是模型融合。

一、模型融合常用方法

        模型融合有常用的如下六种方法：

        1、平均：

                a. 简单平均法

                b.加权平均法

        2、投票：

                a.简单投票法

                b.加权投票法

        3、 综合：

                a. 排序融合

                b. log融合

        4、stacking：

                a. 构建多层模型，并利用预测结果再拟合预测

        5、 blending：

                a. 选取部分数据预测训练得到预测结果作为新特征，带入剩下的数据中预测。Blending只有一层，而Stacking有多层

        6、 boosting/bagging： 

        集成方法主要包括Bagging和Boosting，Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，
形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最
终得到不一样的效果。常见的基于Baggin思想的集成模型有：随机森林、基于Boosting思想的集成模型有：
Adaboost、GBDT、XgBoost、LightGBM等。

        (1). 样本选择上： Bagging方法的训练集是从原始集中有放回的选取，所以从原始集中选出的各轮训练集之间是独
立的；而Boosting方法需要每一轮的训练集不变，只是训练集中每个样本在分类器中的权重发生变化。而权值
是根据上一轮的分类结果进行调整；
        (2). 样例权重上： Bagging方法使用均匀取样，所以每个样本的权重相等；而Boosting方法根据错误率不断调整样
本的权值，错误率越大则权重越大；
        (3). 预测函数上： Bagging方法中所有预测函数的权重相等；而Boosting方法中每个弱分类器都有相应的权重，对
于分类误差小的分类器会有更大的权重；
        (4). 并行计算上： Bagging方法中各个预测函数可以并行生成；而Boosting方法各个预测函数只能顺序生成，因为
后一个模型参数需要前一轮模型的结果。

二、stacking/blending详解

未完持续。。。