计算机视觉中常用的评价标准
1 召回率
Recall,又称“查全率”——还是查全率好记,也更能体现其实质意义。
2 准确率
Precision,又称“精度”、“正确率”。
以检索为例,可以把搜索情况用下图表示:
相关 不相关
检索到 A B
未检索到 C D
A:检索到的,相关的 (搜到的也想要的)
B:检索到的,但是不相关的
(搜到的但没用的)
C:未检索到的,但却是相关的
(没搜到,然而实际上想要的)
D:未检索到的,也不相关的
(没搜到也没用的)
如果我们希望:被检索到的内容越多越好,这是追求“查全率”,即
A/(A+C),越大越好。
如果我们希望:检索到的文档中,真正想要的、也就是相关的越多越好,不相关的越少越好,这是追求“准确率”,即A/(A+B),越大越好。
“召回率”与“准确率”虽然没有必然的关系(从上面公式中可以看到),在实际应用中,是相互制约的。
要根据实际需求,找到一个平衡点。
3 举例
假设原始样本中有两类,其中:
1:总共有 P个类别为1的样本,假设类别1为正例。
2:总共有N个类别为0 的样本,假设类别0为负例。
经过分类后:
3:有 TP个类别为1 的样本被系统正确判定为类别1,FN 个类别为1 的样本被系统误判定为类别 0,显然有P=TP+FN;
4:有 FP 个类别为0 的样本被系统误判断定为类别1,TN 个类别为0 的样本被系统正确判为类别 0,显然有N=FP+TN;
精确度(Precision)
P = TP/(TP+FP) ; 反映了被分类器判定的正例中真正的正例样本的比重
准确率(Accuracy)
A = (TP + TN)/(P+N) = (TP + TN)/(TP + FN + FP + TN); 反映了分类器统对整个样本的判定能力——能将正的判定为正,负的判定为负
召回率(Recall),也称为 True Positive Rate
R = TP/(TP+FN) = 1 - FN/T; 反映了被正确判定的正例占总的正例的比重
转移性(Specificity,不知道这个翻译对不对,这个指标用的也不多),也称为 True NegativeRate
S = TN/(TN + FP) = 1 – FP/N; 明显的这个和召回率是对应的指标,只是用它在衡量类别0 的判定能力。
F-measure(综合评价指标) or balanced F-score
F = 2 * 召回率 * 准确率/ (召回率+准确率);这就是传统上通常说的F1 measure
true positives (纳真) false positives(纳伪)
false negatives(去真)true negatives (去伪)
其中false positives(纳伪)也通常称作误报,false negatives也通常称作漏报!
以上均参考网上大牛!感谢万能的互联网!