风控-评分卡模型建立流程

评分卡建模流程

对于风控中的评分卡模型，常用A/B/C三类评分卡。其中A类评分卡指贷前的信用评分卡，用于审批等流程。B类主要是贷中，起到对用户还款进行预警和提醒作用。C类评分卡主要用于催收等催收流程。
下面以A卡为例，大致介绍一下评分卡建模的简易流程：

1. 评分卡目标确定：
   评分卡可以使用在多种情况，要想建立一个评分卡必须首先确立建立评分卡用途（审批，催收等）以及要使用的人群，这直接关系到我们样本的选取和标签的建立，如果没有对评分卡建立明确的目标，会影响到后续模型标签的简历，导致整个评分卡模型失效，全部的工作推到重来。因此前期必须要反复商讨评分卡的用途，并且各方观点必须达成一致。

2. 观察期和表现期确定、好坏样本的定义：
   观察期用于确定建模特征的时间跨度，表现期用于确定用户最终的状态。可以用下图表示：
   
   观察期的数据即可以带入模型的数据。所以观察期理论上时间越长越好，但同时越古老的信息对现在的的影响也越小，同时由于模型复杂度限制，观察期在实际应用中也无需太长，一般使用12个左右即可。
   用户进行申请等行为，或模型输出的结果的时刻就是我们所说的观察点，是观察期与表现期的分割点，我们使用的观察期的数据，预测时表现期的表现。
   表现是我们评分卡准备预测时时间长度，比如用户未来12个月违约的概率。这个时间的长度是与我们的产品息息相关的，比如现金贷、消费贷等产品一般期限都不会太长。
   表现期中用户会表现出不同的行为，我们可以根据历史上用户表现期的行为来定义用户标签。比如在贷前评分卡中，我们可以将表现期的不同表现分为“好人（按时还款)”，“坏人（逾期切基本可能归还）”，“不确定（不确定未来走向）“
   标签的定制会直接影响后面模型的效果，因此我们必须合理的划分人群。判断我们对人群的划分是否合理，我们可以使用滚动分析的方法。
   
   滚动分析分析的是在度过表现期后，用户的状态变化。如果我们定义的合理，好用户和坏用户发生状态转移的概率应该都比较小。

3. 样本提取
   建立评分卡，我们需要提取样本进行建模，此时必须要注意的是，我们的样本的特征数据必须来自于用户的观察期。有一些数据指标虽然名义上是观察期的数据，但由于统计周期的存在，实际指标统计出的时间晚于观察点，这一类的数据也是不可用的。
   有了好坏样本的定义，有了用户的特征数据，我们便可以建立一个评分卡模型。

4. 变量分析与特征工程
   4.1.数据清洗
   包括删除缺失率较大的特征，异常值、无用值、重复值的剔除等。就是数据挖掘的常用流程
   4.2.特征转换
   特征处理，特征组合等过程。具体包括字符型特征转换成数值特征、时间特征转换天数、特征是否需要归一化，特征间相互组合等等。特征组合可以更好的挖掘信息，但像神经网络一类模型可以自动挖掘特征，对于此类模型可以不用做在复杂的特征设计。
   4.3.特征选取
   常见的特征工程中变量筛选，可以分为有过滤式（Filter）、包裹时（Wrapper）、嵌入式（Embedding）三种方式。风控中的过滤式筛选还会根据变量的IV、KS等方式进行特征筛选和特征效力的判定。具体的方式和代码可以看我的另一篇博客：特征选择 Python代码

5. 模型参数确定、拒绝推论和风险校准
   比如逻辑回归、决策树、神经网络等分类模型都可以使用，但是不同的模型对样本量的要求不一样。我们根据我们现有的特征维度和数据量的大小选用合适的模型，然后进行模型训练和参数的确定。
   现实中由于样本量的限制和幸存者偏差等问题，还可以选择性的使用拒绝推论来丰富模型，分入将所有的拒绝用户当做负样本，加入模型训练。有或者将拒绝用户带入模型，按照其分数进行在分配。
   假如我们有多个子模型，我们还需要进行风险校准，使不同评分卡下的相同分数的违约概率一致。

6. 模型验证
   一般我们不但使用测试集进行验证。而且还需要时间外样本验证模型效果，一般关注的指标有：
   6.1. AUC：
   关于AUC资料，网上一查一大堆，就是以假正率为横轴（False Positive Rate），真正率（）为纵轴的roc曲线下的面积。一般评分卡中，auc>0.6模型能用，auc>0.7效果较好，auc>0.8效果非常好，auc>0.9模型可能出现问题，并且auc对样本不平衡问题不敏感，在评分卡模型中，样本不平衡问题通常是比较严重的。
   6.2. KS
   ks是正负样本的累计分布曲线的最大差值。一般ks>0.2模型有一点效果，ks>0.3效果适中，ks>0.4效果很好，ks>0.6模型可能出现问题。同样的ks曲线对样本不平衡是不敏感的。
   6.3. 逾期人群的召回率：
   通常来说，对于逾期用户我们损失的全部本金。因此我们需要特别注意逾期人群的召回率，有时候宁可错差10个，也不能放过1个。
   6.4. 基尼系数：
   基尼系数是从分数从高到低（假设越高越好），以累计正常比例为横轴，以累计违约比例为纵轴的曲线与过原点斜率为1的曲线围城的面积，指标越大越好。实际上0.5*Gini+0.5=AUC。因此Gini和AUC看一个就行。
   6.5. psi：
   衡量模型稳定性指标，其公式定义与IV值类似。psi越小越好，psi<=0.1,母体在两个时间点无名显变化，需持续监控；psi<0.25,母体在两个时间点有部分变化，需密切观察变化是否扩大；psi>=0.25,母体在两个时间点有显著变化，需搭配鉴别度结果进行评分模型的调整

7. 模型应用
   将训练好的模型和模型使用的特征应用在生产环境中。即下面的，评分卡应用流程。

8. 模型监控
   监控指标多种多样，可以根据业务情况进行设计。常见的，我们需要监控的有，用户的分数分布情况（是否存在异常或与以往不一致的现象）、产品的逾期率是否稳定、模型的psi稳定性、模型所使用的特征稳定性（包括缺失率，分布稳定性等）。

9. 模型迭代
   使用新的历史数据不断更新模型参数，并根据监控效果调整模型。

评分卡线上流程

输入：传入用户申请用户的模型所需特征，和已经建立好的评分卡模型
输出：输出该用户的评分