听别人分享提到了CAP曲线,网上资料比较少,自己动手实践一发
CAP曲线和AR值的含义
cap曲线.png
CAP曲线就是用绘图的方式比较模型的实际分类效果和最完美模型,完全随机的对比,分别代表实际曲线,最优曲线,随机曲线,实际曲线越接近最优曲线则模型的分类效果越好,在风控场景中为识别违约坏客户的模型精度越高
AR值等于实际曲线和随机曲线间面积 / 最优曲线和随机曲线间面积, 即黄色 / (黄色 + 灰色), 代表模型相比于最优模型的表现程度,AR值在0.7-0.8之间表现良好,0.8-0.9之间非常好,0.9以上太好了。
实际曲线的横纵坐标, 横轴代表随着模型预测阈值从高到低,预测为正的样本占比总样本数
实际曲线的纵坐标, 纵轴代表模型预测阈值以上的样本中,真实为正的样本数占比纵正样本数