重识别模型新的评价标准-mINP

重识别领域中常用的模型评价标准主要有累计匹配特征曲线(Cumulative Matching Characteristic curve, CMC)和平均查准率均值(mean Average Precision, mAP)两种。

最近在文章Deep Learning for Person Re identification: A Survey and Outlook中提出了一种新的模型评价标准mean Inverse Negative Penalty，即mINP，这里就该标准做一个记录。

mAP的缺点与 mINP的引入

上图中展示了两个匹配列表，其中共10个目标并仅有三个正确结果，绿色表示正确的匹配，。根据平均查准率(Average Precision, AP)，第一个匹配列表的AP为0.77，第二个匹配列表的AP为0.7，按照的AP的评价标准，AP值越大的性能越好，因此第二个匹配的性能要优于第一个。

但是，第一个列表中虽然在最靠前的两个结果均正确，但是直到第十个才找到了第三个结果，第二个列表在排序第五的位置就找到了全部的正确结果，因此直观来讲，第二个匹配的性能应该要优于第一个。

衡量ReID的性能应基于一下假设：由于实际的ReID系统中常返回一个查询结果列表再交由人工筛选，一个好的ReID系统要求所有的目标应该都处于匹配列表中更靠前的位置。

以防我翻译不准给大家带来误解，这里给出原文：

In practical applications, the algorithm usually returns a retrieved ranking list for further manual investigation. For a good Re-ID system, the target person should be retrieved as accurately as possible, i.e., all the correct matches should have low rank values.

Negative Penalty

基于上述mAP的缺点，文章中为每一个匹配列表引入了负样本惩罚率(Negative Penalty, NP)的概念（自己翻译的，名词翻译不准的话大家请谅解）

对于第$i$个query的匹配结果，其NP的计算方法如下：

$$N{P}_i=\frac{R_i^{hard}-|G_i|}{R_i^{hard}}$$

其中$R_i^{hard}$是最困难的样本唉匹配列表中的索引，即最后一个正确的匹配结果的索引位置，比如图中的列表1，$R_i^{hard}=10$，因为其在第10个位置才找到了最后一个正确的结果。$|G_i|$是全部正确的样本的数目，比如图中$|G_i|=3$。

这个公式的含义就是截止到最后一个正确的结果时，已经查出的样本中错误的样本所占的比例，因此NP的值越小，性能应该越好。当所有的正确结果都在最前面时，NP的值应该为$0$。

mean Inverse Negative Penalty

由于传统的Rank-k和mAP均是数值越大性能越好，为了与这个关系保持一致，文章中便对NP进行了逆值，提出了逆置负样本惩罚率(Inverse Negative Penalty, INP)的概念。
由于$0⩽NP<1$，INP可取值如下：
$$INP=1-NP=\frac{|G_i|}{R_i^{hard}}$$
INP的值就与mAP和Rank-k的取值大小关系保持了一致。INP的含义就是截止到最后一个正确的结果时，已经查出的样本中正确的样本所占的比例

所有查询的样本的平均逆置负样本惩罚率(mean Inverse Negative Penalty, mINP)计算方法如下：
$$mINP=\frac{1}{N_q}\sum _{i=1}^{N_q}(1-N{P}_i)=\frac{1}{N_q}\sum _{i=1}^{N_q}\frac{|G_i|}{R_i^{hard}}$$

关于NP，INP，mINP的翻译是我自己翻译的，大家有更好的翻译欢迎大家订正。

参考文献：
Ye M, Shen J, Lin G, Xiang T, Shao L, Steven C. H. Deep Learning for Person Re-identification: A Survey and Outlook[J]. arXiv preprint arXiv:2001.04193, 2020.