行人重识别初学习

行人重识别（Person Re-identification）又被称为行人再识别，如今被视为图像检索的一类关键子问题。它是利用计算机视觉算法对跨设备的行人图像或视频进行匹配，即给定一个查询图像，在不同监控设备的图像库检索出同一个行人，如图1.1所示。由于对智能安防、视频监控等方面有巨大的应用前景，行人重识别已经成为计算机视觉领域的研究焦点。

行人重识别系统分为

特征提取：能够学习并辨认不同摄像头下行人的变化特征

度量学习：将学习到的特征映射到新的空间使得想同的人更近，不同的人更远

图像检索：根据图片之间的距离进行排序，返回检索结果

行人重识别数据集

• CUHK03
• Market1501
• DukeMTMC-reID
• MSMT17 

数据集分为训练集，验证集也叫测试集，Query，GALLery

Query 测试需要一堆probe ，probe 可以理解为需要确定的目标人物，待检索行人图片

Gallery  就是所有待检索的总和，待检索的仓库，比如视频中所有的人的照片 ， 一堆图像库，是probe的集合。

常用的人重识别评价标准

1 Rank-n

搜索结果中最靠前（置信度最高）的n张图有正确结果的概率，rank 1， 就是第一次命中，rank k，就是在第k次以内命中。

当处理的大型数据集各个类别之间存在许多具有相似特征时，我们往往会增加一个rank-5准确度，也就是说我们不止关心rank-1准确度，也关心rank-5准确度。结合两个准确度来以衡量神经网络的性能。理想情况下，随着预测数据增加，希望rank-1准确度和rank-5准确度同比例增加。但是，在某些数据集上，情况往往并非总是如此。因此，我们也根据rank-5准确度检验模型，以确保我们的网络在后面的迭代中仍然是“学习”的。在训练快结束时，rank-1准确度可能会停滞不前，但是当我们的网络学习到更多的识别特征(虽然没有足够的识别能力超过top1的预测)时，rank-5准确度会继续提高。

2 Precision & Recall

一般来说，Precision就是检索出来的条目（比如：文档、网页等）有多少是准确的，Recall就是所有准确的条目有多少被检索出来了。

Precision：准确率 output为1中ground truth也为1的 占ground truth为1的概率

Recall：召回率 output为1中ground truth也为1的 占output为1的概率

正确率 = 提取出的正确信息条数 / 提取出的信息条数

召回率 = 提取出的正确信息条数 / 样本中的信息条数

准确率和召回率都是针对同一类别来说的，并且只有当检索到当前类别时才进行计算，比如在person re-id中，一个人的label为m1，在测试集中包含3张此人的图像，检索出来的图像按照得分从高到低顺序为m1、m2、m1、m3、m4、m1…。

我们当然希望检测的结果P越高越好，R也越高越好，但事实上这两者在某些情况下是矛盾的。比如极端情况下，我们只检测出了一个结果，且是准确的，那么Precision就是100%，但是Recall就很低；而如果我们把所有结果都返回，那么必然Recall必然很大，但是Precision很低。

因此在不同的场合中需要自己判断希望P比较高还是R比较高。如果是做实验研究，可以绘制Precision-Recall曲线来帮助分析。

3 F-score

综合权衡Precision和Recall这2个指标，这就引出了一个新的指标F-score。这是综合考虑Precision和Recall的调和值。

因为Precision和Recall是对立关系的，一般情况下，Precision高，Recall就低；Recall高，Precision就低。

所以在实际中常常需要根据具体情况做出取舍，例如一般的搜索情况，在保证召回率的条件下，尽量提升精确率 。

当β=1时，称为F1-score，这时，精确率和召回率都很重要，权重相同。当有些情况下，我们认为精确率更重要些，那就调整β的值小于1，如果我们认为召回率更重要些，那就调整β的值大于1。

4 mAP

AP就是平均精准度，简单来说就是对PR曲线上的Precision值求均值。对于pr曲线来说，我们使用积分来进行计算。

在实际应用中，我们并不直接对该PR曲线进行计算，而是对PR曲线进行平滑处理。即对PR曲线上的每个点，Precision的值取该点右侧最大的Precision的值。

mAP的全称是mean Average Precision，意为平均精度均值（这个指标是多目标检测和多标签图像分类中长常用的评测指标，因为这类任务中的标签大多不止一个，所以不能用普通的单标签图像的分类标准，也就是mean Precision，平均精确确率这个指标。mAP是将多分类任务中的平均精度AP（Average Precision）求和再取平均。AP衡量的是模型在单个类别上判断结果的好坏（效果好坏），mAP衡量的是模型在所有类别上的好坏。根据类别在训练集上的分布方式，AP值可能在某些类别上从很高（这有很好的训练数据）变化到很低（对数据很少或不好的类别）。所以你的mAP可能是合适的，但你的模型可能对某些类别非常好而对某些类别非常差。因此当分析你的模型结果时，观察独立类别的AP是明智的。这些值可能作为添加更多训练样本的指示器。

5 CMC和ROC

CMC曲线全称是Cumulative Match Characteristic (CMC) curve，也就是累积匹配曲线，ROC曲线Receiver Operating Characteristic (ROC) curve。

两种曲线均是做模式识别的重要评价指标，一般将两种曲线同时给出，能够综合评价出算法的好坏。CMC曲线综合反映了分类器的性能，它的评价指标与现在deep learning中常用的top1 err或top5 err评价指标一样的意思，不同的是这里Rank1 recognition rate表示的是正确率而不是错误率，两者的关系是Rank1识别率=1-top1 err ，Rank5识别率=1-top5 ert

CMC将再识别问题看成是一种排序问题，CMC 曲线的具体含义是指：在候选行人库(gallery)中检索待查询(probe)的行人，前 r 个检索结果中包含正确匹配结果的比率。其中，第 1 匹配率 r=1 指标rank-1反映了最匹配候选目标刚好为待查询图片目标的概率，即该指标为真正的识别能力，因此很重要。但是当 r 值很小但大于1时，由于可以通过人眼进行辅助识别查找目标，因此也很有现实意义，如第 5 匹配率 r=5 指标反映前 5 个匹配候选目标中存在待查询图片目标的概率，如下图：横坐标表示排名等级r，纵坐标表示再识别的准确率。

Roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。横轴：负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)。纵轴：真正类率(true postive rate TPR)灵敏度，Sensitivity(正类覆盖率)具体到识别任务中就是，ROC曲线上的每一点反映的是不同的阈值对应的FP（false positive）和TP（true positive）之间的关系。通常情况下，ROC曲线越靠近（0，1）坐标表示性能越好。