ks：能定阈值的评价指标

● 每周一言

既有工作又有生活，人生才没那么无趣。

导语

之前讲解过AUC评价指标，AUC能很好地描述模型整体性能的高低。除了AUC，还有一个指标也能达到相同的效果，那便是ks。不仅如此，ks还能给出最佳的划分阈值。那么，ks具体是什么指标？计算方式和AUC有何不同？

ks评价指标

ks（Kolmogorov-Smirnov）评价指标，通过衡量好坏样本累计分布之间的差值，来评估模型的风险区分能力。其计算方式和AUC的计算方式基本类似，我们不妨先来回顾一下评价指标必备的四个概念，如下：

• 伪阳性率（FPR）
  判定为正例却不是真正例的比率
• 真阳性率（TPR）
  判定为正例也是真正例的比率
• 伪阴性率（FNR）
  判定为负例却不是真负例的比率
• 真阴性率（TNR）
  判定为负例也是真负例的比率
  

AUC的计算方式在文章（如何直观理解AUC评价指标？）中描述的比较清楚，建议大家先看一遍，再继续阅读此文，会更加流畅。相比之前对AUC的讲解，上面四个概念的介绍我更新成用“比率”描述，会更加准确一点。

但是AUC只评价了模型的整体训练效果，并没有指出如何划分类别让预估的效果达到最好。

ks和AUC一样，都是综合了真阳性率（TPR）和伪阳性率（FPR）两个指标来衡量模型的好坏。不同之处在于，ks取的是TPR和FPR差值的最大值。

怎么理解这个最大差值？我们先仔细思考一下TPR和FPR的含义。拿二分类来说，通常接sigmoid函数输出到0-1之间取阈值划分，假定0为正例标签，1为负例标签，当阈值从0到1变化时，TPR表示所有小于阈值的正例，在所有正例中的比率。同样的，FPR则表示所有小于阈值的负例，在所有负例中的比率。

令横轴为阈值，纵轴为TPR和TPR，值域均为[0, 1]。可以这样直观理解，随着横坐标从0到1变化，TPR越快提升，模型效果越好；反之，FPR越快提升，模型效果就越差。 ks值，正是图中的最大差值，此时的横轴取值，便是最佳阈值。

同样的，我们可以拿AUC讲解中的例子来直观说明ks：现假设有一个训练好的二分类器对10个正负样本（正例5个，负例5个）进行预测，得分从高到低排序得到的最好预测结果为[1, 1, 1, 1, 1, 0, 0, 0, 0, 0]，即5个正例均排在5个负例前面，正例排在负例前面的概率为100%。

绘制其ks折线。首先，我们按照之前的描述方式，绘制TPR、FPR随着阈值（样本比例）变化的折线图，如下图所示：

从上图我们可以知道，TPR提升最快而FPR提升最慢，的确说明了预测结果最好。然后，计算它们的差值，作ks折线图如下：

上图的ks值为1，最佳划分阈值是0.5，这是最理想的结果了。ks值域为[0, 1]，一般情况下，ks值大于0.2就能判定模型是有效的。

为了加深理解，我们稍微改变一下预测结果序列为[1, 1, 1, 1, 0, 1, 0, 0, 0, 0]，看看ks值有何不同的变化。

可知上图的ks值为0.8，最佳划分阈值为0.4或者0.6。

至此，我们便可以直观地理解ks评价指标。敬请期待下节内容。

结语

感谢各位的耐心阅读，后续文章于每周日奉上，敬请期待。欢迎大家关注小斗公众号 对半独白！