KS(Kolmogorov-Smirnov)统计量是一种用于评估二分类模型性能的指标,主要用于评估模型在正例和负例之间的区分度。KS统计量通过累积分布函数(CDF)的差异来衡量模型对正负样本的区分程度。
KS值的计算过程包括以下步骤:
- 计算分数: 对每个样本使用模型得到的概率或分数进行排序。
- 构建累积分布函数(CDF): 分别计算正例和负例中每个分数对应的累积百分比。
- 计算累积分布函数差异: 计算正例和负例累积分布函数之间的最大差异值,即KS统计量。
其中:
CDF正例(s)
是正例中分数小于等于s的样本的累积百分比。CDF负例(s)
是负例中分数小于等于s的样本的累积百分比。
KS值的范围是0到1,值越大表示模型在正例和负例之间的区分度越好。
在某些场景中,KS值也被用于评估模型在不同阈值下的性能。例如,通过在不同概率或分数阈值下计算KS值,可以选择一个最佳的阈值来平衡模型的精确率和召回率。
在一些机器学习框架和库中,计算KS值的函数通常已经包含在性能评估工具中。