关键词:准确率(查准率,precision);召回率(查全率,recall);P-R曲线,平衡点(Break-Even Point, BEP);F1值,F值;ROC(Receiver Operating Characteristic,受试者工作特征);AUC(Area Under ROC Curve);非均等代价(unequal cost)
推荐阅读:召回率(查全率,recall);F1值,F值
2.3性能度量
关键词:准确率(查准率,precision);召回率(查全率,recall)。
对于分类问题,通常说的“准确率”指的是accuracy,是精度。而真正的准确率应该是针对某一个类别而言的。以下针对二分类而言(正例与反例), precision 是学习器判断为正例的那堆中,判得正确的占多少, recall 是实际上有那么多正例,学习器找回了多少。
具体可将样例根据真是类别与学习器预测类别的组合划分为真正例(true postive),假正例(false postive),真反例(true negative),假反例(false negative),显然TP + FP +TN +FN = 样例总数。分类结果的混淆矩阵(confusion matrix)如下表:
正确率(precision)
P=TPTP+FP
召回率(recall)
P=TPTP+FN
可以看到,分子是一样的,分母不同,FP 和FN 是矛盾的,一个高了另外一个就低了。
关键词:P-R曲线,平衡点(Break-Even Point, BEP)
P-R曲线用来衡量分类器性能的优劣,横轴为recall ,纵轴为precision,P-R曲线是如何衡量分类器性能的呢?
如图,有三个分类器,A,B,C,若一个学习器的P-R曲线完全被另外一个学习器完全”包住”,则说后则性能优于前者。 如学习器A优于C,但是有交叉时,就要用平衡点(BEP)来衡量。平衡点即precision 等于 recall 时的值。那么可以认为A优于B。
关键词:F1值,F值。
采用BEP还是过于简单。实际应用中更常见的是用F值来衡量。
一般形式如下
F=(1+β2)P⋅Rβ2⋅P+R
, F1 是基于正确率和召回率的调和平均定义的,即β=1,正确率,召回率同等重要,F1值还可以写成这个形式(在 吴恩达 的课程上看到的)
F1=21P+1R
而有所偏好的情况下,可根据β来调整。当β大于1时,召回率有更大影响,β小于1时,正确率有更大影响。
关键词:ROC(Receiver Operating Characteristic,受试者工作特征)。
源于二战。ROC曲线 横轴是假正例率(False Positive Rate,FPR),纵轴是真正例率(True Positive Rate,TPR)。
TPR=TPTP+FN
FPR=FPTN+FP
(0,1)点是最理想状况,通常ROC曲线不是光滑,而是像右边这样的。
关键词:AUC(Area Under ROC Curve)。
当两条ROC相交时,就采用AUC来衡量学习器。AUC越大,学习器性能越好。
关键词:非均等代价(unequal cost)。
现实任务中会遇到这样的情况:不同类型的错误所造成的后果不同。例如,错误地把患者诊断为健康人与错误地把健康人诊断为患者,其“代价”是不一样的。因此可以根据具体问题来设计“代价”。