金融风控训练营基础知识TASK06

知识回顾：

 

前14天时间里，通过5个Task的学习，对金融风控的内容进行深入了解，金融风控评估的主体内容可以概括为数据分析、特征工程、建模和调参以及模型融合。如何在一份凌乱的数据中得到你想要的或者建立你认为可以概括事件的模型是这次比赛的重要目标。

其中我们利用到了python语言帮助我们解决人力无法解决的问题。建模前，你就要对所有可能刻画出来的模型确定一个标准和指标，这次竞赛就使用了AUC。（简单回顾AUC：被定义为 ROC曲线 下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价）

也有其他的金融风控预测标准评估，比如KS：KS不同代表的不同情况，一般情况KS值越大，模型的区分能力越强，但是也不是越大模型效果就越好，如果KS过大，模型可能存在异常，所以当KS值过高可能需要检查模型是否过拟合。

然后我们可以开始进行数据分析，做数据分析少不了对数据集特征的了解和处理，查看特征的唯一值和缺失值

查看特征的数值类型有哪些，对象类型有哪些。特征一般都是由类别型特征和数值型特征组成，而数值型特征又分为连续型和离散型。类别型特征有时具有非数值关系，有时也具有数值关系，数值型特征本是可以直接入模的，但往往风控人员要对其做分箱，转化为WOE编码进而做标准评分卡等操作。

深入到特征处理，进行系统的特征工程分析，首先，对数据进行预处理，查找出数据中的对象特征和数值特征，上文我们提到了缺失值，查看完缺失值后要对缺失值填充

.

然后进行异常值处理，当你发现异常值后，一定要先分清是什么原因导致的异常值，然后再考虑如何处理。首先，如果这一异常值并不代表一种规律性的，而是极其偶然的现象，或者说你并不想研究这种偶然的现象，这时可以将其删除。其次，如果异常值存在且代表了一种真实存在的现象，那就不能随便删除。在现有的欺诈场景中很多时候欺诈数据本身相对于正常数据勒说就是异常的，我们要把这些异常点纳入，重新拟合模型，研究其规律。能用监督的用监督模型，不能用的还可以考虑用异常检测的算法来做。

处理方法有：均方差、箱型图

在数学专业学习中我们就了解了很多分布，每个值是否落在分布中都有明确的范围。这里我们就用正态分布作为理解，落在3个标准差范围内的数值大约有99.7%，通过这样的分布划分是否为异常值，得到异常值后进一步分析变量异常值和目标变量的关系

之后我们就可以进行特征分箱降低变量的复杂性，减少变量噪音对模型的影响，提高自变量和因变量的相关度。从而使模型更加稳定。特征交互、特征编码最后特征选择。特征的选择极为重要，方法也多种多样：方差选择法、相关系数法、卡方检验、互信息法等

进行建模和调参，建模的方法实在是太多了，有简单有负责，简单点的比如像逻辑回归（跟线性回归有点像）最主要的sigmoid函数：

而决策树模型、GBDT、XGBoost、 LightGBM、Catboost有点类似，需要不断变换训练集和预测集来建立模型，不同的是训练集和预测集的选取方式不同

https://blog.csdn.net/c406495762/article/details/76262487

评价标准：可以利用上文提到的AUC

最后是模型融合，模型融合是比赛后期上分的重要手段，特别是多人组队学习的比赛中，将不同队友的模型进行融合，可能会收获意想不到的效果哦，往往模型相差越大且模型表现都不错的前提下，模型融合后结果会有大幅提升，以下是模型融合的方式。

stacking\blending   stacking是通过不同的训练集产生的预测值再构建一个训练集，以此往复得到预测结果。而blending与stacking不同，blending是将预测的值作为新的特征和原特征合并，构成新的特征值，用于预测。为了防止过拟合，将数据分为两部分d1、d2，使用d1的数据作为训练集，d2数据作为测试集。预测得到的数据作为新特征使用d2的数据作为训练集结合新特征，预测测试集结果。

学习总结：

学习一项从未了解过内容时，刚上手真的很难，看不懂，迷迷糊糊的过了task1，到了后面结合我学的数学知识了解了一点点内容，现在回看同样没有完全理解透彻但是有了新的收获，对于这次金融风控训练营，最主要的问题就是如何建立一个适合的模型，其中有很多步骤需要走。让我在日后的数据建模中有了框架，利用现学知识来解决难题。