本文主要介绍风控策略评估时的一些指标和思考,如有不妥之处,欢迎指正。
一、策略评估指标
策略分析的最终目的是通过一些规则分割,从全量样本空间中筛选出一些浓度最高的样本。这里列举评估一条策略好坏常用的一些指标:
1.命中率:命中该规则的样本量占总体样本量的比例,如果是一条拒绝规则,就是指拒绝占比。
2.坏样本率:也叫P值,命中该规则的坏样本数量占命中部分的总样本量。坏样本的定义target可以选择fpd30、spd30、tpd30、fstpd30、mob5_30+等。
3.Lift值:也叫提升度或风险倍数,命中该规则的坏人率相对于大盘坏人率的提升倍数,通常,认为一条规则有效的标准为lift>3,lift的值越大,代表规则越有效,或者说策略的效率越高。
4.捕获率:也叫召回率或者R值,命中该规则的正样本占全体正样本的比例。该值越高,说明抓黑能力越强。这个实际看得比较少。
二、Lift值
Lift值是评估策略效果最常用的一个指标,因此单独再详细说下。它表示命中某条规则的坏人率相对于大盘坏人率的倍数。提升度越高,代表规则越有效。通常,我们认为一条规则有效的标准为提升度不低于3。
Lift值也可以从关联分析的角度来理解(参考求是汪在路上的文章)。提升度是可信度与期望可信度的比值,它反映了“物品集A的出现”对物品集B的出现概率发生了多大的变化。物品集A对物品集B的期望置信度如下(不再详细展开,感兴趣的读者可自行研究):