关于precision、recall、ap、PRC曲线、ROC曲线及AUC等参数的说明

 原本的代码voc_eval.py给出了prec、rec以及ap的值，在此基础上绘制了PRC曲线、ROC曲线及计算AUC等参数。参考了Faster R-CNN/R-FCN里mAP的计算过程（voc_eval.py解析）

prec：它计算的是所有"正确被检索的item(TP)"占所有"实际被检索到的(TP+FP)"的比例

rec:它计算的是所有"正确被检索的item(TP)"占所有"应该检索到的item(TP+FN)"的比例

要想查看prec及rec的值，在voc_dataset_evaluator.py中_do_python_eval添加以下， 代码注意缩进

        logger.info('REC for {} = {:.4f}'.format(cls, rec[-1]))
        logger.info('PREC for {} = {:.4f}'.format(cls, prec[-1]))

PRC曲线：横坐标为rec,纵坐标为prec,积分面积为ap

同样在上述位置添加

        pl.plot(rec, prec, lw=2, 
              label='Precision-recall curve of class {} (area = {:.4f})'
                    ''.format(cls, ap))
    pl.xlabel('Recall') 
    pl.ylabel('Precision')  
    plt.grid(True) 
    pl.ylim([0.0, 1.05]) 
    pl.xlim([0.0, 1.0]) 
    pl.title('Precision-Recall') 
    pl.legend(loc="upper right") 
    plt.show()

这是我的PRC曲线：

 

ROC曲线：横坐标FPR，纵坐标TPR，其值与REC相同，曲线积分面积为AUC，这一点与PRC曲线类似，AUC越大说明训练的模型性能越好。其中， 曲线的横坐标FPR为假正例率，在voc_eval.py中，tn+fp可由nd-npos得到。

    an=nd - npos
    fpr=fp/an

要计算AUC的值，得编写添加一个函数voc_auc

def voc_auc(rec,fpr):
    mrec = np.concatenate(([0.], rec, [1.]))
    mfpr = np.concatenate(([0.], fpr, [0.]))
    for l in range(mfpr.size - 1, 0, -1):
         mfpr[l - 1] = np.maximum(mfpr[l - 1], mfpr[l])
    l = np.where(mrec[1:] != mrec[:-1])[0]
    auc = np.sum((mrec[l + 1] - mrec[l]) * mfpr[l + 1])
    return auc

从而调用这个函数就可得到AUC值。

绘图命令还是在voc_dataset_evaluator.py中添加

        pl.plot(fpr, rec, lw=2, 
              label='fpr-tpr curve of class {} (area = {:.4f})'
                    ''.format(cls, auc))
    pl.xlabel('FPR') 
    pl.ylabel('TPR')  
    plt.grid(True) 
    pl.ylim([0.0, 1.05]) 
    pl.xlim([0.0, 1.0]) 
    pl.title('FPR-TPR') 
    pl.legend(loc="upper right") 
    plt.show()

我的ROC曲线