零基础入门金融风控-贷款违约预测-Task04——建模与调参

        有幸参加了阿里云举办的零基础入门金融风控-贷款违约预测训练营。收获颇多。

        每天记录一些自己之前的知识盲点,需经常温习。

        第四次的学习任务,是建模与调参。

一、模型对比与性能评估

1、模型对比

①逻辑回归(LR:Logistic Regression,解决监督学习中的分类问题)

        逻辑回归是分类任务中最最常用的首选模型。一般都选择逻辑回归作为baseline模型,之后在此基础上进行调参、更换模型等操作。

        1. 优点
        a. 训练速度较快,分类的时候,计算量仅仅只和特征的数目相关;
        b. 简单易理解,模型的可解释性非常好,从特征的权重可以看到不同的特征对最后结果的影响;
        c. 适合二分类问题,不需要缩放输入特征;
        d. 内存资源占用小,只需要存储各个维度的特征值。
        2. 缺点
        a. 逻辑回归需要预先处理缺失值和异常值【可参考task3特征工程】;
        b. 不能用Logistic回归去解决非线性问题,因为Logistic的决策面是线性的;
        c. 对多重共线性数据较为敏感,且很难处理数据不平衡的问题;
        d. 准确率并不是很高,因为形式非常简单,很难去拟合数据的真实分布;

②决策树(DT:Decision Tree,既可以解决分类问题,也可以解决回归问题)

        决策树是传统企业最最常用的机器学习算法,一个重要的原因是可解释性强,也可以进行可视化,可以清晰地观察到做选择的各个分支过程。

        1. 优点
        a. 简单直观,生成的决策树可以可视化展示;
        b. 数据不需要预处理,不需要归一化,不需要处理缺失数据;
        c. 既可以处理离散值,也可以处理连续值。
        2. 缺点
        a. 决策树算法非常容易过拟合,导致泛化能力不强(可进行适当的剪枝);
        b. 采用的是贪心算法,容易得到局部最优解。

③集成模型集成方法(ensemble method)

        通过组合多个学习器来完成学习任务,通过集成方法,可以将多个弱学习器组合成一个强分类器,因此集成学习
的泛化能力一般比单一分类器要好。
        集成方法主要包括Bagging和Boosting,Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,
形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法,只是整合的方式不一样,最
终得到不一样的效果。常见的基于Baggin思想的集成模型有:随机森林、基于Boosting思想的集成模型有:
Adaboost、GBDT、XgBoost、LightGBM等。

        (1). 样本选择上: Bagging方法的训练集是从原始集中有放回的选取,所以从原始集中选出的各轮训练集之间是独
立的;而Boosting方法需要每一轮的训练集不变,只是训练集中每个样本在分类器中的权重发生变化。而权值
是根据上一轮的分类结果进行调整;
        (2). 样例权重上: Bagging方法使用均匀取样,所以每个样本的权重相等;而Boosting方法根据错误率不断调整样
本的权值,错误率越大则权重越大;
        (3). 预测函数上: Bagging方法中所有预测函数的权重相等;而Boosting方法中每个弱分类器都有相应的权重,对
于分类误差小的分类器会有更大的权重;
        (4). 并行计算上: Bagging方法中各个预测函数可以并行生成;而Boosting方法各个预测函数只能顺序生成,因为
后一个模型参数需要前一轮模型的结果。

2、模型评估方法:

        对于机器学习模型的评估,最常用的就是AUC(Area Under Curve,曲线下面积)。AUC为ROC(Receiver Operating Characteristic,受试者工作特征曲线)曲线下的面积,该值越接近1,证明模型越好。

        

二、代码示例。

未完持续。。。

 

 

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页