图像检索匹配模型评判标准

• ROC（receiver operating characteristic）曲线

  1.ROC 是通过改变诊断界点，获得多对 TPR 与 FPR 值，以 FPR 为横坐标，TPR为纵坐标，绘制而成的曲线，计算与比较 ROC 曲线下面积，以此反映诊断试验的诊断价值。                

      TPR = TP/(TP+FN)

       FNR = FN/(TN+FP)

 

   2.常用曲线下面积 AUC 来反映系统的性能指标，AUC 越大性能越佳

   AUC计算  https://blog.csdn.net/colapin/article/details/53673749

 1.  最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下面的面积之和。这样，我们先把score排序(假设score越大，此样本属于正类的概率越大)，然后一边扫描就可以得到我们想要的AUC。但是，这么 做有个缺点，就是当多个测试样本的score相等的时候，我们调整一下阈值，得到的不是曲线一个阶梯往上或者往右的延展，而是斜着向上形成一个梯形。此 时，我们就需要计算这个梯形的面积。由此，我们可以看到，用这种方法计算AUC实际上是比较麻烦的。 

   2. 一个关于AUC的很有趣的性质是，它和Wilcoxon-Mann-Witney Test是等价的。这个等价关系的证明留在下篇帖子中给出。而Wilcoxon-Mann-Witney Test就是测试任意给一个正类样本和一个负类样本，正类样本的score有多大的概率大于负类样本的score。有了这个定义，我们就得到了另外一中计 算AUC的办法：得到这个概率。我们知道，在有限样本中我们常用的得到概率的办法就是通过频率来估计之。这种估计随着样本规模的扩大而逐渐逼近真实值。这 和上面的方法中，样本数越多，计算的AUC越准确类似，也和计算积分的时候，小区间划分的越细，计算的越准确是同样的道理。具体来说就是统计一下所有的 M×N(M为正类样本的数目，N为负类样本的数目)个正负样本对中，有多少个组中的正样本的score大于负样本的score。当二元组中正负样本的 score相等的时候，按照0.5计算。然后除以MN。实现这个方法的复杂度为O(n^2)。n为样本数（即n=M+N） 
   3.  第三种方法实际上和上述第二种方法是一样的，但是复杂度减小了。它也是首先对score从大到小排序，然后令最大score对应的sample 的rank为n，第二大score对应sample的rank为n-1，以此类推。然后把所有的正类样本的rank相加，再减去M-1种两个正样本组合的情况。得到的就是所有的样本中有多少对正类样本的score大于负类样本的score。然后再除以M×N。即 

 

 

ROC曲线绘制  https://blog.csdn.net/guohecang/article/details/52858019

绘制的步骤是：

1）把概率序列从高到低排序，得到顺序（1: 0.9,3: 0.8,2: 0.7,4: 0.6,5: 0.5,6: 0.4）；

2）从概率最大开始取一个点作为正类，取到点1，计算得到TPR=0.5，FPR=0.0；

3）从概率最大开始，再取一个点作为正类，取到点3，计算得到TPR=1.0，FPR=0.0；

4）再从最大开始取一个点作为正类，取到点2，计算得到TPR=1.0，FPR=0.25;

5）以此类推，得到6对TPR和FPR。

 

• 准确性、敏感性和特异性评估

   1.准确性： （TP+TN）/sample num   高，模型正确率 高

    2.灵敏性： TP /（TP+FT） 高，模型对相似样本的识别度高

    3.特异性： TN /（TN+FN） 高， 模型对不相似样本的识别度高