重识别模型新的评价标准-mINP

重识别领域中常用的模型评价标准主要有累计匹配特征曲线(Cumulative Matching Characteristic curve, CMC)和平均查准率均值(mean Average Precision, mAP)两种。

最近在文章Deep Learning for Person Re identification: A Survey and Outlook中提出了一种新的模型评价标准mean Inverse Negative Penalty，即mINP，这里就该标准做一个记录。

mAP的缺点与 mINP的引入

上图中展示了两个匹配列表，其中共10个目标并仅有三个正确结果，绿色表示正确的匹配，。根据平均查准率(Average Precision, AP)，第一个匹配列表的AP为0.77，第二个匹配列表的AP为0.7，按照的AP的评价标准，AP值越大的性能越好，因此第二个匹配的性能要优于第一个。

但是，第一个列表中虽然在最靠前的两个结果均正确，但是直到第十个才找到了第三个结果，第二个列表在排序第五的位置就找到了全部的正确结果，因此直观来讲，第二个匹配的性能应该要优于第一个。

衡量ReID的性能应基于一下假设：由于实际的ReID系统中常返回一个查询结果列表再交由人工筛选，一个好的ReID系统要求所有的目标应该都处于匹配列表中更靠前的位置。

以防我翻译不准给大家带来误解，这里给出原文：

In practical applications, the algorithm usually returns a retrieved ranking list for further manual investigation. For a good Re-ID system, the target person should be retrieved as accurately as possible, i.e., all the correct matches should have low rank values.

Negative Penalty

基于上述mAP的缺点，文章中为每一个匹配列表引入了负样本惩罚率(Negative Penalty, NP)的概念（自己翻译的，名词翻译不准的话大家请谅解）

对于第$i$个query的匹配结果，其NP的计算方法如下：

$$N{P}_i=\frac{R_i^{hard}}{R_i^{hard}}$$