方法学评价常用指标
本文主要介绍机器学习中对设计的分类器性能进行评估所常用的几个评价指标:真阳性、假阳性、真阴性、假阴性、准确率和召回率。它们两两之间或仅有一字之差,却可能代表两种完全不同的含义,因此相信很多人在初次接触上述概念时,都会产生一点不知所云的感觉。要想在今后的科研过程中正确的运用它们,或许最好的办法还是回归它们最原始的定义,因此,下面笔者将整合现有网络资源试图将它们的概念以最通俗易懂的方式给出,希望对大家能够有所帮助。
为便于理解,假设分类器分类结果有两种:I类和II类,每一分类结果中对应真实类别的样本数如下表1所示,则用于评价本分类器性能的常见指标定义如下:
分类器分类结果 | 实际所属类别:I 类 | 实际所属类别:II 类 | 每类样本数量合计 |
---|---|---|---|
I类 | a | b | a+b |
II类 | c | d | c+d |
合计 | a+c | b+d | a+b+c+d |
- True Positive (真阳性,简记为:TP),对应真阳性率(True Positive Rate, 简记为TPR),又称敏感度(sensivity)。指的是按分类器分类标准正确判为某类(如I类)的样本数占该类实际样本总数的百分比,即 TPR = a/(a+c) *100%
- False Positive (假阳性,简记为:FP),对应假阳性率(False Positive Rate,简记为FPR),又称误判率。指的是按分类器分类标准把不是某类的样本(如II类)判为该类(I类)的样本数占非该类样本总数的百分比,即FPR=b/(b+d) *100%
- True Negative(真阴性,简记为:TN),对应真阴性率(True Negative Rate,简记为TNR),又称特异度(specificity)。指的是按分类器分类标准将不是I类的样本正确判为非I类样本样本数占非该类样本总数的百分比,即TNR = d/(b+d)*100%
- False Negative (假阴性,简记为:FN),对应假阴性率(False Negative Rate,简记为FNR),又称漏报率。指的是按分类器分类标准将当属于某类(如I类)的样本误判为其他类的样本数占该类实际样本总数的百分比,即FNR = c/(a+c) *100%
另外,
准确率(Precision)和
召回率(Recall)也是广泛用于信息检索和统计学分类领域的两个度量值,用来评价结果的质量。其中精度是检索出的
相关文档数与检索出的文档总数的比率,衡量的是检索系统的
查准率;召回率是指检索出的相关文档数和文档库中所有相关文档数的比率,衡量的是检索系统的
查全率。