（转载）图像检索评估准则——Evaluation Criteria of Image Retrieval : Retrieval Accuracy

下面是介绍图像检索的一些评估方法。

转载自：https://i-blog.csdnimg.cn/blog_migrate/ad09cb81c4389d3ba8799d53b462a42c.png

本文介绍图像检索领域中一些常用的评判标准，首先的两个是比较常用的查准率precision和查全率recall，然后介绍的是MPEG-7中推荐的方法Average Normalized Modified Retrieval Rank (ANMMRR)

-------------------------------------------------------------------------------------

Precision

一次查询过程中，系统返回的主观相似图像个数占所有返回图像个数的比例。正确的主观相似图像越多，查准率越高。

具体公式懒得贴了。

-------------------------------------------------------------------------------------

Recall

一次查询过程中，系统返回的查询结果中主管相似图像个数占图像库中所有主观相似图像个数的比例。

同上，具体公式懒得贴了

需要注意的是，Precision和Recall是成反比关系的，所以给出实验结果时一般都是给出一个Precision-Recall图。例如当Recall等于0,5时的Precision图

-------------------------------------------------------------------------------------

Retrieval Rate (RR)

其中

NG(q) 数据集中与q主观相似的图像个数

NF(a,q) 在检索到的前a个结果中，与q相似的图像的个数

RR(q) 检索率

我们使用NQ个查询请求来测试该系统，则有

Average Retrieval Rate (ARR)

由于检索结果中主观正确图片的排序在评价检索性能中同样起到很重要的作用，我们还需要考虑排序的影响，这时我们设置Rank(k)表示查询q中第kth个主观正确结果的排序。并且引入截断参数K (Relevant ranks) >= NG。关于如何选择K，有的文献直接给出了下面这个方法，就是选择K = min{ 2xNG(q), 2 x GTM } 其中GTM 表示所有查询请求中最大的主观相似图像个数，也就是最大的NG

这时我们得出了一个更优的排序函数来代替Rank(k)

结合(3) 我们可以得出 Average Rank (AVR)

由于在一个数据集中NG(q)是不同的，而且变化的幅度很大，为了减少NG(q)对评价函数的影响，可以使用下面的这个函数来代替(4)

Modified Retrieval Rank (MRR)

然后归一化一下，这是由于MMR的上限仍然受到NG的影响。

Normalized Modified Retrieval Rank (NMRR)

下一个公式当然是求平均值：

Average Normalized Modified Retrieval Rank (ANMRR)

好了，介绍完毕，如果想要看更具体的解释，可以参看[1]。

---------------------------华丽分割-----------------------------------------------

最后，说评判标准不能不提一下数据集的问题。数据集不同往往会对检索算法的准确度起到很大的影响。换句话说，现在的大多算法都是针对数据集的，换一个数据集后检索效果会差很多。最近已经有大牛在CVPR2011上就数据集的问题进行了讨论，这篇文章我还没看，但是在网上找到了有人写的关于这篇文章的介绍和心得，有兴趣的人可以去这里了解下(该作者很会卖萌) http://www.cvchina.info/2011/06/23/cvpr-nb-paper/

同样，这个问题在实际项目中更是明显。例如，在我做过的一个针对商品形状检索的需求中，曾经发现一些看似有很好检索效果的算法其实并不像实验中那么好。因为在实验中大多采用的是一些轮廓很清楚正确的图形，而在真实项目中，即使是在简单背景下，我们也很难对所有商品都获得很好轮廓的。

有时想想，图像检索这个领域真是没法去搞研究，连如何测试算法性能都是一个悬而未决的问题。在我看来，我们还不如直接在实际项目中去检验，针对不同的应用背景所作出的结果往往更加真实更有说服力。

-------------------------------------------------------------------------------------

Reference:

[1] Manjunath, B. S., Ohm, J.-R., Vasudevan, V. V., and Yamada, A. Color and texture descriptors. IEEE Trans. Circ. Syst. Video Technol. 11, 6, 703--715, 2001

[2] R. Datta, D. Joshi, J. Li and J.Z. Wang, Image Retrieval: Ideas, Influences, and Trends of the New Age, ACM Computing Surveys, vol. 40, no. 2, pp. 1-60, 2008.

转载自：https://i-blog.csdnimg.cn/blog_migrate/ad09cb81c4389d3ba8799d53b462a42c.png