金融风控实战——信贷评分卡

信贷评分卡介绍

风控系统业务流程

  在一个完整的风控系统中，信贷准入模型在整个体系的前半部分，下面我们了解一下一个完整的风控系统是如何构建的

获客阶段

  基本的，对于一个信贷产品来说，首先要有目标客户愿意去使用才有构建信贷准入模型的意义，对于小型信贷公司来说，如果本身用户的数量很少，人工信审和评估绰绰有余，则没有太大的必要去使用人工智能技术来处理信贷审批的问题，当用户的数量到达了较大量级之后才有意义，对于银行来说，用户不是问题，银行本身用户的量级一般都很大并且质量整体较好，对于互联网巨头来说，例如阿里、京东、字节等，本身的流量用户数量非常大，这些用户客群是天然的信贷产品的目标用户
  信贷产品的获客方式有很多，例如企业内积累的一些其它业务领域的用户、渠道的引流（短信、广告、人工电话推销等），大家平常在日常生活中可能经常会收到XXX机构的电话，问你要不要借钱，或者是短信：“恭喜您获得XXX机构的XXXXXX元额度，请点击XXXX网址下载对应app进行借款，利息优惠放款快哦”，etc，关于用户的获客，很多机构使用的获客方式都比较偏向纯营销一些，当然也有一些机构会使用精准营销的方式来提高营销的成功率，基于算法的精准营销算是风控领域的“推荐”项目，和传统的电商推荐存在很多相似之处但也存在较大的区别，本课程并不会在推荐相关项目上进行详细描述。

初期的冷启动问题

  当获客的用户达到一定数量之后，并且有了一定的深度和厚度的用户数据积累，我们才可以开始构建一个风控体系，这个时候问题来了，初期没有用户的信贷资料的情况下我们如何防范风险？此时就涉及到了信贷准入模型的冷启动问题，即初期只有少量甚至没有用户数据（例如没有用户的标签因为用户此时压根就还没开始借款），此时一般来说机构往往依赖于（下面按照重要程度依次展开）
  1.第三方数据：第三方机构数据可以说是机构非常重要的信息来源了，过去，互联网信息获取的方式处于较为灰色的地方，小贷公司可以非常自由的获取用户的基本身份信息，家庭住址，通讯录等隐私信息，这也导致了非常大的公民信息泄露的隐患，这两年国家对于互联网信息获取的手段管制越来越严格，目前许多早期重要的用户个人信息已经不允许随意获取了，因此信贷机构逐渐非常依赖于第三方数据。
  目前在市面上有许多第三方数据商，这类数据商往往具有一些较为特殊的背景，例如百信金融，数美科技，永安科技等等，这类数据商往往和社保局，公安，运营商等具有一定的联系，因此可以从公共服务部门获取大量原始数据，典型的，例如用户的多头借贷数据（即用户在几家机构贷款），征信黑名单，设备风险评级等等，这类数据对于初期的冷启动问题都具有极其重要的作用；
  2.风控策略：和风控算法工程师一样，风控策略工程师也是整个风控体系中非常重要的一环，可以说，在数据的质量得到保证之前，风控体系的主力就是风控策略工程师，并且在后期也具有很重要的协调作用，主要原因在于模型是死的，而人是活的；

人工信审

  一般来说，对银行等这类大型的机构都有专门的信审部门，当然，有的信贷公司可能信审只是走个形式甚至完全依赖于一些自动化技术，例如用户申请贷款的时候常常需要用户填写身份证，地址，进行人脸识别的活体验证等等，这些过程通过计算机视觉，自然语言处理等技术已经有非常成熟的解决方案了。
  信审部门的主要工作是对用户的基本信息、资产信息等进行审查，其实大家在申请信贷产品的时候一般都会有一定的夸大收入、资产等自身资质水平的倾向，所以很多用户的申请信息与相关数据等都存在一定的水分，需要通过信审部门进行调查与证实，对于资料造假或者资料不足的用户直接进行拒绝；

风控引擎

  关于风控引擎，很多机构的叫法和用法都不尽相同，但是可以确定地一点是风控引擎的核心其实就是大量的if else规则，在风控领域，可以说万物皆规则，无论是根据某些征信黑名单直接对黑名单用户进行拒绝这样简单的规则，还是模型输出的用户的信用评分，确定某个阈值，接受高于阈值的用户的申请，拒绝低于阈值的用户的申请，其本质上都是规则。
  风控引擎是整个风控体系的主要组成部分，并且往往管理着不止一个的信贷产品，对于不同类型的产品，用户的规则存在区别，例如针对于白领用户的“白领贷”类型产品，会内置一些基本规则对所有申请的用户进行查询和筛选，例如年龄太大与太小，收入太低，没有固定职业或从事高风险职业等用户，在用户数据进入信贷准入模型之前，全量申请用户都会先经过风控引擎的“洗礼”之后然后过渡到模型阶段进行用户信用分的评估；
  这里需要额外去详细解释的，就是关于规则部分，整体来说，常见的规则体系可以划分为下面几种：
  1.前置规则：这类规则往往是定死的一些基本规则，典型的年龄限制，超过六十岁或小于十八岁的用户一般是不受理其贷款申请的；
  2.风控规则：这类规则常常是由风控策略工程师来帮助制定的，我们前面提到的很多重要的第三方数据常常会被直接当作风控规则来使用，例如腾讯的设备评分，蚂蚁的高危支付号关联手机号等等；
  3.模型规则：需要注意的是，在整个风控体系中，模型并不一定是占据主导，很多时候，算法工程师所担任的工作的最终输出可以概括为用户的评分体系，例如从用户的行为信息，用户的消费序列等等，相对而言较为弱的弱特征中挖掘出一定有价值的结果，并以评分的形式输出，作为风控规则之一纳入整个风控体系中。

反欺诈

  值得一提的是，反欺诈规则常见的方式也有两种，一种是常规的基于某些第三方数据或自有的重要数据直接构建一些硬规则，例如对于平台而言，逾期次数超过三次则用户将被拉入黑名单不再对其进行贷款业务受理，或是命中了多条高风险的评分，例如同时命中腾讯和阿里的高风险手机号，则申请直接拒绝，另外一种形式就是反欺诈评分卡了，其实本质上也是用常见的逻辑回归或xgb等极其学习算法，使用欺诈用户标签构建一个有监督模型，欺诈标签一般来自于第三方数据或自身业务推进过程中的积累。
  反欺诈评分卡或反欺诈规则分析，反欺诈在评分卡中的应用仅仅是反欺诈领域的一个小分支，反欺诈本身所涵盖的知识体系是非常丰富而复杂的，相对于成熟稳定，套路固定的评分卡构建来说，反欺诈的难度往往要高几个级别，尤其是电商领域的反欺诈问题，根据不同的场景，或是同一个场景下的欺诈手法，使用的套路和模型常常是大相径庭的；
  风控反欺诈，尤其是互联网反欺诈业务也是目前的一个比较常见的岗位，相对于纯粹的评分卡性质的风控算法来说，

信贷评分卡

申请评分卡、A卡

  这一部分就是该风控算法工程师大展身手的时候了，我们通过一些机器学习算法来构建一个健壮而泛化性能良好的模型，根据存量用户的数据来对新用户的信用进行评分，然后根据某个阈值来进行截断，高于阈值的用户进行放款，低于阈值的用户拒绝放款，并且，用户的信用评分作为重要的参考指标参与到后续的用户的额度、期限、利率的定价上。关于用户的额度、利率、期限等，其中常见的消费分期和现金分期产品的期限一般比较常见的有6和12个月。除此之外也有少部分3个月的极短期信贷产品和2~3年的较长期的信贷产品。需要注意，我们平常所说的车贷，房贷等大型贷款项目一般不属于本课程主要涉及的部分，因为这类贷款往往是需要一定的抵押物，相对而言其用户群体的质量较高，相对来说并没有特别大的建模需求，因此市面上往往也比较少见这类直接对标车贷和房贷的风控岗位。

行为评分卡、B卡

  行为评分卡可以看作申请评分卡在时间上的扩展，相对于A卡的数据来说，B卡的特征更加丰富，因为我们拥有了用户在拿到贷款之后的还款行为数据等一系列时序类数据，当然，我们前面提到过，并不是所有产品都有构建B卡的数据基础与必要，例如7天为周期的现金分期产品，用户贷后的数据往往是稀少的也难以反映用户的某种潜在的不良行为模式。
  需要注意的是，行为评分卡一般是基于存量客户上的，即“老客”，并且往往需要保证有较长周期的数据才能较好的保障B卡的模型效果，和A卡的作用一样，行为评分卡也可以作为用户放款（后续）的依据，并且因为拥有了更多维度的特征，行为评分卡的泛化性能往往相对于申请评分卡更高，我们可以根据行为评分卡的结果来作为参考，决定是否对老客户的新的申请予以批准，并且在能够动态的调整用户的额度和利率，例如某个老客在还款期间经常出现拖欠的问题，则下次老客再来申请新的信贷产品则降低额度，提高利率或直接拒绝；

催收评分卡、C卡

  相对A和B卡而言，C卡的出场率较低，很多公司对C卡也没有那么重视，造成这种现象的主要原因有：
  1.贷前风控是整个风控的重中之重，贷前做好了，贷中和贷后就相对容易；
  2.人的因素对贷后催收的效果影响很大，且很多公司在用户发生M1（银行一般是M2或M3）之后都会进行委外处理
  我们前面说过，很多公司往往在催收阶段往往使用一些简单的催收策略比如无脑给所有逾期用户打电话消耗大量的人力和成本，或者直接委外处理，但是伴随着目前整个信贷行业的发展趋势，委外被慢慢的淘汰，各家公司开始重视自己的贷后催收团队，为了提高利润，贷后催收也越来越会向精细化的方法发展，模型+策略的优化则变得越来越重要。
  催收评分卡和A、B卡不一样，催收评分卡往往包括了多个模型，其中有缓催模型、贷后N天响应模型、失联修复模型等等

反欺诈评分卡、F卡

  反欺诈评分卡和我们常听到的互联网风控中的反欺诈的概念略微不同，反欺诈评分卡的做法其实本质仍旧是做有监督模型，其作用往往是作为反欺诈规则的补充，输出反欺诈分，用于评估用户是欺诈用户的可能性是高or低

传统信贷评分卡和大数据信用评分模型

  传统信用评分卡基本是逻辑回归一把梭，逻辑回归因为其模型的轻量、易于部署、可解释性强大、方便加入人工先验知识，至今仍旧是很多银行和金融机构所使用的主要模型，基本思想就是将好坏用户的区分定义为传统的机器学习中的线性的二分类问题，使用借款人基本信息、资产信息、征信报告等数据，预测借款人未来发生违约的概率，并根据概率对用户的信用进行评分，比较常见的例如蚂蚁的芝麻信用分、京东的小白信用分等形式都是很典型的信用评分体系（当然蚂蚁和京东的评分卡不像银行那么简单）

大数据信用评分模型
  传统信用评分模型使用的特征往往是严格限制数量的，一般主要包括了用户的基本属性、金融属性、征信等强信贷类型的属性特征，传统的金融机构偏向于简约型模型，即使用简单的线性模型，并且特征的数量控制在一个较小的范围内，这样整个模型的可解释性强，可控，稳定性高，便于人工进行分析和控制，然而这种做法是对大量弱特征的浪费，并对模型的精度和泛化性能有较大程度的削弱。
  大数据信用评估模型的基本思路是一切数据都和信用有关，在能够获取的数据中尽可能的挖掘信用信息。
  通过大数据采集技术，挖掘一个借款人的信用变得更加多元化，比如一个借款人缺乏银行信用卡的数据，但从借款人的航旅出行数据中挖掘出具备较好的信用资质，同样可以完成借款人的信用贷款。
  通过多源化的信息采集，一方面传承了传统征信体系的金融决策变量，重视深度挖掘授信对象的信贷历史，另一方面能够将影响用户信贷水平的其他因素也考虑进去，如社交网络数据、用户地址文本信息等，从而实现深度和广度的高度融合。
  以网络数据为例，如设备是否苹果，用户申请贷款时的gps信息，用户申请贷款的总时间等，这些数据一定程度上可以反应用户的某些较为隐蔽的信息，有利于评估用户当下的信贷风险。
  大数据信用评估模型通过融合多源信息，采用先进的人工智能技术进行大数据挖掘。
  这一点对于大型互联网金来说尤其突出，例如支付宝，背靠阿里巴巴，往往拥有海量的电商数据，用户的商品购买记录，消费水平等对于用户的信用评估具有重要的作用，除此之外，蚂蚁自身也存在许多的理财产品例如典型的余额宝，因此，蚂蚁自身的数据是非常多维而丰富的，而这类数据和银行所拥有的信贷性质的特征不同，互联网数据往往是海量而弱关联的特征，这个时候就需要我们使用广泛而前沿的技术来帮助挖掘出弱属性特征中的magic。

信贷准入模型（A卡）的构建全流程

  一般来说，前期工作都完成妥当之后，申请用户会被削减一部分，剩余的通过前置的各类规则之后的用户会进入我们的建模过程，成为我们的样本，在实际应用的过程中，我们拿到的原始数据是不直接包含标签信息的，并且一般情况下也不太可能是直接的一张大宽表，而是不同的数据表，这些数据表的重要性各不相同，从用户的注册到登录，到浏览，填写资料到最终的申请等，再整个用户的生命周期中，不同周期都对应着大量的表格，除此之外，还有第三方数据源，前置规则的预警或拦截日志等等，并且最为重要的是，初始的A卡的标签需要我们根据用户的还款情况记录来进行定义。
  一般来说，我们要先根据用户的还款情况，借助vintage分析和滚动率分析来对用户的好坏以及表现期做出明确的定义

观察时点的确定
  观察期与表现期：
  观察期：在观察期，主要抽取用户历史的数据作为特征，用于后续建模
  表现期：用来定义用户的标签，作为模型预测的目标

  观察点大部分时候是根据数据的完整情况+拍脑袋得到的，为了排除观察点选择时的随机影响，一般会多次选择不同的观察点然后重复后续的建模步骤，例如我们有一段跨度为15个月的数据，一开始需要根据不同时间点或时间段的用户数量，历史数据的厚度和广度等确定一个观察时间点
  一这个时候我们需要先使用滚动率分析确定用户的好坏定义，然后使用vintage分析来确定用户的表现期
  补充：之所以选择观察时点是因为我们需要对训练，验证和测试集进行划分，才能在离线阶段评估模型的泛化性能，一般来说，我们线上的预测过程是使用历史的数据建模预测未来数据，具有时间上的先后关系，所以我们需要保证模型构建阶段也满足和线上的预测过程一致的时间顺序，即我们需要使用过去的数据来预测未来，而不能简单的对全部数据继续宁交叉验证；
  之所以需要选择观察期（观察期指观察点往过去后推的一段时间，一般比较常见的是半年到一年的长度，太短则数据太少，太长则过于久远的数据的分布和当前存在较大差异）和表现期，表现期的设定主要是考虑到用户的风险需要一定的时间才能表现出来，常见的情况是用户可能头一两个月正常还款，后面就开始赖账了，因此我们需要尽量给用户一个宽松的表现时间，将其逾期还款的无赖本质暴露出来。

滚动率分析
  在信用评分领域，一般会有一个叫客户还款周期表的数据表来刻画客户的还款情况，逾期时间越长，客户风险越高。但是，并不是客户一旦有逾期行为就定义为’坏客户‘，相反，逾期一定周期内的客户的还款概率也是较高的，是有收益的，是可以接受的。因此，问题转化为如何找到逾期周期与收益的平衡点，逾期超过多少天定义为’坏用户‘是合理的呢？这就需要使用到滚动率分析。
  滚动率：一个时间段过渡到另一个时间段内的所有用户逾期情况的比率变化。在信贷交易过程中，实际上是用户的还款状态由上个时间段向下个时间段滚动的比率计算。
  注意，前面说过，用户的实际还款情况一般会记录在一张单独的还款记录表上存放在数据库中，我们要先根据用户的逾期情况对用户进行逾期周期标注，这里涉及到了逾期期数的概念，逾期期数M，指实际还款日与应还款日之间的逾期天数，并按区间划分为不同的逾期状态。M取自Month on Book的第一个单词。基本上大部分机构的逾期标准定义如下：
  M0：当前未逾期（或用C表示，取自Current）
  M1： 逾期1-30日
  M2：逾期31-60日
  M3：逾期61-90日
  M4：逾期91-120日
  M5：逾期121-150日
  M6：逾期151-180日
  M7：逾期180日以上。
  此时也被称为呆账（Bad Debts），会予以注销账户（write-off）

例如某一个用户的逾期情况可能是这样的：  上述为一个还款周期为14个月的信贷产品，即该信贷产品的周期为14个月，需要注意，信贷产品的周期并不一定以一个完整的自然年为定义，例如上述14期的信贷产品我们就无法以年为单位，并且不同用户发放贷款的月份是不同的，因此实际上我们所说的用户的还款周期实际上是按照用户被发放贷款到产品周期结束来定义的。
  假设一个客户在11月还款日的时候没有及时还上钱，那么他的逾期期数就记为1，如果他在下个月仍然没能在还款日时还上这笔款，那么他的逾期期数就记为2，期数会持续累加，直到他把这笔款还上。
  所以上表中的这个客户，他在观察期里11月有过1次逾期，12月还清欠款，但是在次年的3-5月连续逾期，也就是说该客户在一个完整的还款周期里的逾期记录应该是3期（一般我们是取用户的最长的逾期记录作为用户的逾期情况的评估）。同理，在后1年里面最坏的逾期记录是2期。
  注意这里的前1年对应上面的观察期，后1年对应上面的表现期，因此上图的观察时点是前一年的8~9月份之间的某一天，往前推14个月为观察期，往后推12个月为表现期。
  那么当我们有n个用户的时候，就有n个上述的记录，然后：
  1、统计客户在观察期（如前一年）的最长逾期期数，按最坏逾期状态将用户分为几个层次，如M0、M1、M2、M3、M4.。。。。
  2、以观察点为起始时间，统计客户在表现期（如后一年）的最长逾期期数，按最坏逾期状态将用户分为几个层次，如M0、M1、M2、M3、M4.。。。。。
  3、如果某个用户观察期最坏逾期状态为m1，表现期最坏逾期状态为m2，则滚动率表格中，（m1，m2）的计数加1，依次类推；
  4、统计客户占比；
  5、为了排除观察点选择时的随机影响，一般会选择多个观察点，然后重复上述步骤得到最终的较为客观和稳定的用户的好坏定义

滚动率分析表如下图
  得到了滚动率分析表之后，就基本完成了滚动率分析了，可以看到，滚动率分析本质上就是分析观察期和表现期，用户的最坏逾期状态的迁移情况。可以看到，上表中，(m0.m0)对应的90.81%表示的是观察期未逾期的用户在表现期也没有逾期的占比，例如观察期未逾期用户为100人，表现期这100个人中仅仅10个人发生逾期，则(m0,m0)对应的值为1-10/100=0.9，可以看到，上图中，观察期逾期状态为m7的用户在表现期仍旧有93.07%的用户未改变逾期状态，即这批人
  为了更好的理解滚动率分析的过程，这里放一下大佬求是汪的知乎图

从这张图中，我们就可以很清楚的明白滚动率分析的具体过程了：
  1.从老客中选择10000个用户进行计算；
  2.统计观察期所有用户的逾期状态并进行统计，可以看到，观察期间，有9000个用户未逾期，500个用户发生了m1的逾期，300个用户发生了m2的逾期，150个用户发生了m3的逾期，50个用户发生了m4的逾期；
  3.统计表现期的用户的逾期情况，可以看到，观察期未逾期的用户中，有8640个用户继续保持未逾期的状态，270个用户逾期1个月，90个用户逾期两个月；依次类推
  4.可以看到，在观察期逾期m4+的用户中有40个仍旧处于m4+的逾期状态，可以看到这批用户基本上大部分无法转化为未逾期或逾期较轻的用户，因此我们可以初步认为，m4+就是一个坏客户的定义，因为m4+逾期的用户很难变成正常用户而是继续保持老赖状态

vintage分析
  vintage分析是用来确定成熟期的，前面提到过，用户的风险需要一定的时间来暴露，这个时间段就是成熟期，注意，成熟期是指观察时点之后我们要取得表现期的时间的长度，这里比较容易和我们上面谈到的表现期混淆，一个简单的例子帮助了解，假设我们获取了某个观察时点，这个观察时点前，数据有记录的时刻开始到观察时点的时间我们可以称之为“历史数据时间间隔”，但是一般来说我们不可能取所有的历史数据，只会取最近一段时间的数据作为观察期，比如我们不太可能取过去五年的所有数据，因为越早的数据分布情况和观察时点的数据分布情况差异往往越大，因此，假设数据日期有5年，我们可能只会取最近一年甚至是最近半年的数据作为观察期，同理，观察时点到当前时间之间的数据记录我们可以称之为“当前日期时间间隔”，当然，我们也不一定会使用到当前的所有最新数据来建模，因为有的用户可能距离当前时点，上个月甚至上周才放款，这类用户压根就没什么充足的数据，必须驱逐在外，所以假设观察时间点到当前时间点时间间隔为6个月，则可能我们会取4~5个月作为表现期长度，而成熟期的长度必然是小于等于表现期长度的；
  vintage涉及到账龄MOB的概念：
  账龄(Month of Book，MOB)、
  指资产放款月份。类似于婴孩一出生就有了年龄，一旦申贷订单被放款，也便拥有了账龄和生命周期。
  MOB0：放款日至当月月底
  MOB1：放款后第二个完整的月份
  MOB2：放款后第三个完整的月份
   。。。依此类推

  一图胜千言，可以看到vintage分析一般是按照月份进行统计的，需要注意，我们是先做滚动率分析确定了好坏客户的定义之后，然后再做vintage分析确定用户的成熟期，以上图为例，滚动率分析确定m4+的用户为坏客户，因此，mob的1~3个月的占比均为0，因为此时用户还没有触发逾期定义，到达第四个月之后，可以发现，所有放款用户中的坏客户比例开始出现，我们以2018年01月为例，第四个月坏客户占比0.93%，第五个月1.52%，第6个月2.05%。。。第十二个月3.85%，可以看到，随着时间的延长，整个用户群体的风险暴露的越来越彻底，从最初的0.93%到最终的3.85%左右，并且坏用户的占比不再发生显著的变化，
  我们需要一个良好的成熟期长度来让用户的风险彻底暴露，但是成熟期又不能太长，比如你成熟期定义个12个月，则数据的分布在太长的周期下又会发生变化，并且成熟期太长则观察期相应会缩短，建模样本变少对模型不利，那么这里的成熟期如何定义，很简单，根据上表和上图，可以看到，从9月份开始，9~12月，不同月份（2018年1、2、3、4.。。。）下观测的用户的整体的坏客户比例就趋于稳定了：

  可以看到，坏样本占比在一个非常小的区间内波动，此时我们可以认为坏客户比例“收敛”，用户已经充分暴露风险了，那么我们就可以选择9个月作为我们的成熟期长度。
  那么当我们确定了成熟期长度之后要做什么呢，很简单，正式构建建模用的样本，具体的过程是这样的：
  1.2018年1月份放款用户往后推9个月，凡是在这9个月之内最坏逾期情况为m4+的用户我们打上标签1，其它用户则打上标签0；
  2.2018年2月份放款用户往后推9个月，凡是在这9个月之内最坏逾期情况为m4+的用户我们打上标签1，其它用户则打上标签0；
  3.依此类推。。。
  最后我们可以构建出许多好客户和坏客户的样本

pay attention
  在实际的应用过程中，我们并不一定教科书式的完全按照上述的方法来，而是业务根据实际的产品性质，例如偏保守还是偏盈利，来对用户的好坏定义进行选择，比如说对于那种短周期一个月的现金分期产品，一般就直接拍脑袋，逾期就算坏客户，所以具体情况还要结合具体实际产品分析，除此之外，好坏客户的定义也不一定是固定的，当我们后续的建模发现模型的效果较差的时候，也常常需要对之前的分析进行一定的调整，例如m3的用户定义为坏客户，成熟期重定义等等