行人重识别

一、行人重识别应用背景

现阶段视频监控在我们日常生活中可以随处可见，在监控视频中，由于相机分辨率和拍摄角度的缘故，通常无法得到质量非常高的人脸图片。当人脸识别失效的情况下，ReID就成为了一个非常重要的替代品技术。
行人重识别（Person Re-identification）也称行人再识别，简称为ReID，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。是一个图像检索的问题。给定一个监控行人图像，检索跨设备下的该行人图像。行人重识别的核心在于如何找到有鉴别力的行人表达。很多近期的方法使用了深度学习模型来抽取视觉特征，达到了SOTA的结果。
相交于传统的视频监控，ReID有一点优势，但是也存在一定技术挑战。ReID 在实际应用场景下的数据非常复杂，由于不同摄像设备之间的差异，同时行人兼具刚性和柔性的特性 ，外观易受穿着、尺度、遮挡、姿态和视角等影响，所以，对跨镜追踪(ReID)算法的要求也更高。
实际应用中常常出现:
(a)无正面照;
(b)服装更换;
©遮挡;
(d)图像分辨率低;
(e)光线差异;
(f)室内室外场景变化
ReID在采集数据的时，需要考虑因素有：需跨摄像头采集、公开数据集的数据规模非常小、影响因素复杂多样性、数据一般都是视频的连续截图、监控大规模搜集涉及到数据，涉及到用户的隐私问题等问题，对行人重识别提出挑战和研究难点。

二、行人重识别应用场景

（1） 智能安防（2）智能商业（3）人机交互（4）相册图片聚类等等

三、行人重识别模型

3.1 模型数据来源

目前相关论文及实验数据来源主要来自部分高校：（1）清华大学–Market-1501；(2) 香港中文大学校园-CUHK03；(3)8个摄像机-DukeMTMC；
(4) 3个室内和12个室外-MSMIT17

3.2 Ranking loss

3.2.1 Triplee loss函数

三元组损失是一种被广泛应用的度量学习损失，之后的大量度量学习方法也是基于三元组损失演变而来。顾名思义，三元组损失需要三张输入图片。和对比损失不同，一个输入的三元组（Triplet）包括一对正样本对和一对负样本对。三张图片分别命名为固定图片(Anchor) [公式] ，正样本图片(Positive) [公式] 和负样本图片(Negative) [公式] 。图片 [公式] 和图片 [公式] 为一对正样本对，图片 [公式] 和图片 [公式] 为一对负样本对。则三元组损失表示为：
L(A,P,N)=max(||f(A)-f§||2-||f(A)-f(N)||2+a,0)
希望达到的目的是A和P不断接近，A与N尽可能远离。式子中a代表是间隔（margin）表示d(A,P)和D(A,N)相差多少。
通常情况下三元组损失函数有以下三种结果：
(1）”简单样本”的三元组(easy triplet：d(f(A)+f(N))>d(f(A)+f§+a)也即锚点与负样本的距离大于锚点与正样本和a之和。负样本和锚点样本已经有足够的距离了（即是大于a ）。此时loss为0，网络参数将不会继续更新。
（2）“难样本”的三元组(hard triplet)：d(f(A)+f(N))<d(f(A)+f§)也即负样本比起正样本，更接近锚点样本，此时loss为正值（并且比a 大），网络可以继续更新。
（3）”中等样本”的三元组(semi-hard triplet)：d(f(A)+f(N))<d(f(A)+f§+a)在这种情况下，负样本到锚点样本的距离比起正样本来说，虽然是大于后者，但是并没有大于设定的阈值a ，此时loss仍然为正值，但是小于m mm，此时网络可以继续更新。对比图片说明如下：

3.2.2 对比损失(Contrastive loss)

基于欧式距离的对比损失函数公式如下：

其中 d =代表两个样本特征的欧氏距离，y为两个样本是否匹配的标签，y=1代表两个样本相似或者匹配，y=0则代表不匹配，margin为设定的阈值。这样就能达到我们的扩大组间、距离缩小组内距离的目标。

3.2.2 四元组损失(Quadruplet loss)

四元组损失是三元组损失的另一个改进版本。顾名思义，四元组(Quadruplet)需要四张输入图片，和三元组不同的是多了一张负样本图片。即四张图片为固定图片(Anchor) [公式] ，正样本图片(Positive) [公式] ,负样本图片1(Negative1) [公式] 和负样本图片2(Negative2) [公式] 。其中 [公式] 和 [公式] 是两张不同行人ID的图片，其结构如下所示：


其中 a和 β 是手动设置的正常数，通常设置 β小于a ，前一项称为强推动，后一项称为弱推动。相比于三元组损失只考虑正负样本间的相对距离，四元组添加的第二项不共享ID，所以考虑的是正负样本间的绝对距离。因此，四元组损失通常能让模型学习到更好的表征。