检测与分类中的召回率、准确率

本文整理自wangran51的《准确率召回率》与wangzhiqing3的《准确率与召回率》，原文链接分别为：

http://blog.csdn.net/wangran51/article/details/7579100

http://blog.csdn.net/wangzhiqing3/article/details/9058523ran51/article/details/7579100

        在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要。信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率，准确率也叫查准率。

1、检索

     召回率与准确率概念公式:

召回率(Recall)      =  系统检索到的相关文件 / 系统所有相关的文件总数

准确率(Precision) =  系统检索到的相关文件 / 系统所有检索到的文件总数

可以把搜索情况用下图表示：

注意：准确率和召回率是互相影响的，理想情况下肯定是做到两者都高，但是一般情况下准确率高、召回率就低，召回率低、准确率高，当然如果两者都低，那是什么地方出问题了。一般情况，用不同的阀值，统计出一组不同阀值下的精确率和召回率，如下图：

 

 

Recall指：检索系统能“回忆”起那些事的多少细节，通俗来讲就是“回忆的能力”。“能回忆起来的细节数” 除以 “系统知道这件事的所有细节”，就是“记忆率”，也就是recall——召回率。简单的，也可以理解为查全率。

如果是做搜索，那就是保证召回的情况下提升准确率；如果做疾病监测、反垃圾，则是保准确率的条件下，提升召回。

所以，在两者都要求高的情况下，可以用F1来衡量。

2、分类

ROC和AUC是评价分类器的指标，上面第一个图的ABCD仍然使用，只是需要稍微变换。

回到ROC上来，ROC的全名叫做Receiver Operating Characteristic。

ROC关注两个指标

   True Positive Rate ( TPR )  = TP / [ TP + FN] ，TPR代表能将正例分对的概率

   False Positive Rate( FPR ) = FP / [ FP + TN] ，FPR代表将负例错分为正例的概率

在ROC 空间中，每个点的横坐标是FPR，纵坐标是TPR，这也就描绘了分类器在TP（真正的正例）和FP（错误的正例）间的trade-off。ROC的主要分析工具是一个画在ROC空间的曲线——ROC curve。我们知道，对于二值分类问题，实例的值往往是连续值，我们通过设定一个阈值，将实例分类到正类或者负类（比如大于阈值划分为正类）。因此我们可以变化阈值，根据不同的阈值进行分类，根据分类结果计算得到ROC空间中相应的点，连接这些点就形成ROC curve。ROC curve经过（0,0）（1,1），实际上(0, 0)和(1, 1)连线形成的ROC curve实际上代表的是一个随机分类器。一般情况下，这个曲线都应该处于(0, 0)和(1, 1)连线的上方。如图所示。

用ROC curve来表示分类器的performance很直观好用。可是，人们总是希望能有一个数值来标志分类器的好坏。

于是Area Under roc Curve(AUC)就出现了。顾名思义，AUC的值就是处于ROC curve下方的那部分面积的大小。通常，AUC的值介于0.5到1.0之间，较大的AUC代表了较好的Performance。

AUC计算工具：

http://mark.goadrich.com/programs/AUC/

P/R和ROC是两个不同的评价指标和计算方式，一般情况下，检索用前者，分类、识别等用后者。

3、为何有众多指标

这是因为模式分类和机器学习的需要。判断一个分类器对所用样本的分类能力或者在不同的应用场合时，

需要有不同的指标。 当总共有个100 个样本（P+N=100）时，假如只有一个正例（P=1），

那么只考虑精确度的话，不需要进行任何模型的训练，直接将所有测试样本判为正例，

那么 A 能达到 99%，非常高了，但这并没有反映出模型真正的能力。另外在统计信号分析中，

对不同类的判断结果的错误的惩罚是不一样的。举例而言，雷达收到100个来袭 导弹的信号，

其中只有 3个是真正的导弹信号，其余 97 个是敌方模拟的导弹信号。假如系统判断 98 个

（97 个模拟信号加一个真正的导弹信号）信号都是模拟信号，那么Accuracy=98%，

很高了，剩下两个是导弹信号，被截掉，这时Recall=2/3=66.67%，

Precision=2/2=100%，Precision也很高。但剩下的那颗导弹就会造成灾害。 
 
因此在统计信号分析中，有另外两个指标来衡量分类器错误判断的后果：
漏警概率（Missing Alarm）
MA = FN/(TP + FN) = 1 – TP/T = 1 - R；  反映有多少个正例被漏判了

（我们这里就是真正的导弹信号被判断为模拟信号，可见MA此时为 33.33%，太高了） 

 
虚警概率（False Alarm）
FA = FP / (TP + FP) = 1 – P；反映被判为正例样本中，有多少个是负例。 

       统计信号分析中，希望上述的两个错误概率尽量小。而对分类器的总的惩罚旧

是上面两种错误分别加上惩罚因子的和：COST = Cma *MA + Cfa * FA。

不同的场合、需要下，对不同的错误的惩罚也不一样的。像这里，我们自然希望对漏警的惩罚大，

因此它的惩罚因子 Cma 要大些。