行人重识别

行人重识别（Person re-identification）也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。由于不同摄像设备之间的差异，同时行人兼具刚性和柔性的特性 ，外观易受穿着、尺度、遮挡、姿态和视角等影响，使得行人重识别成为计算机视觉领域中一个既具有研究价值同时又极具挑战性的热门课题。

中文名行人重识别外文名Person re-identification (Person re-ID)别名行人再识别主要应用智能监控／智能安保专业方向计算机视觉

定义发展历史技术难点方法数据集发展方向TA说参考资料

定义行人重识别（Person re-identification）也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。[1]给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合[2]，可广泛应用于智能视频监控、智能安保等领域。[3]

发展历史行人重识别的研究起始于二十世纪九十年代中期。研究者们借鉴、引入了一些图像处理、模式识别领域的成熟方法，侧重研究了行人的可用特征、简单分类算法。自2014 年以来，行人重识别技术的训练库趋于大规模化，广泛采用深度学习框架。随着高校、研究所以及一些厂商的研究持续深入，行人重识别技术得到了飞速的发展。海外主要的行人重识别系统的研究机构有悉尼科技大学（UTS）、伦敦玛丽女王大学（QMUL）等；中国大陆及港澳台的主要有清华大学、北京大学、复旦大学、香港中文大学、西安交通大学、中国科学技术大学、中山大学，中科院自动化所等。2020年，依图科技在ReID领域取得新突破，刷新业界三大权威数据集当前最优成绩(SOTA)，算法性能达到业界迄今最高标准，极大拓展了算法和应用的边界[4]，加速行人重识别(ReID)大规模商业化落地[4]。

技术难点1. 能不能用人脸识别做重识别？理论上是可以的。但是有两个原因导致人脸识别较难应用：首先，广泛存在后脑勺和侧脸的情况，做正脸的人脸识别难。其次，摄像头拍摄的像素可能不高，尤其是远景摄像头里面人脸截出来很可能都没有32x32的像素。所以人脸识别在实际的重识别应用中很可能有限。[5]2.有些人靠衣服的颜色就可以判断出来了，还需要行人重识别么？衣服颜色确实是行人重识别做出判断一个重要因素，但光靠颜色是不足的。首先，摄像头之间是有色差，并且会有光照的影响。其次，有撞衫（颜色相似）的人怎么办，要找细节，但比如颜色直方图这种统计的特征就把细节给忽略了。在多个数据集上的测试表明，光用颜色特征是难以达到50%的top1正确率的。[5]

方法基于部件匹配的方法基于人体在三维空间中的结构（结构信息），人体图像可以进行分割，按部件来执行匹配。1.常见方案是水平切割，就是将图像切为几个水平的条。由于人体身材往往差不多，所以可以用简单的水平条来做一一比较。[6]2.在领域中做匹配，采用的是一个正方形的邻域。[7]3.另一个较新的方案是先在人体上检测部件（手，腿，躯干等等）再进行匹配，这样的话可以减少位置的误差，但可能引入检测部件的误差。[8]4. 类似LSTM的attention匹配，但必须pair输入，测试时间较长，不适合快速图像检索。[9]5. 如图，类似人脸对齐，使用STN 将行人整个图像先利用热度图对齐，再匹配。[10][11]行人匹配热度图基于损失函数的方法基于高层语义信息，设置一些辅助任务，帮助模型学习到好的特征表达。1. 身份损失（Identification loss）直接拿身份label做多类分类。[12]2. 鉴定损失（Verification loss）比较两个输入图像是否为同一人。[7]3. 身份损失（Identification loss）+鉴定损失（Verification loss），将以上两种损失函数混合。[13]4. 三样本损失 （Triplet loss） 以3个样本为一组，同一人的图像特征距离应小于不同人。[14]5. 加入属性任务 （attribute）比如判断是否背包，是男生还是女生等等。人们遇见陌生人也是利用这些属性来描述。[15]6. 数据增强 混合多数据集训练 ，加入训练集上 生成对抗网络（GAN）生成的数据。[16][17]

数据集二维空间数据集DukeMTMC-reID该数据集在杜克大学内采集，图像来自8个不同摄像头。该数据集提供训练集和测试集。 训练集包含16,522张图像，测试集包含 17,661 张图像。训练数据中一共有702人，平均每类（每个人）有23.5 张训练数据。是最大的行人重识别数据集，并且提供了行人属性（性别/长短袖/是否背包等）的标注。[18]DukeMTMC-reID数据集示例DukeMTMC-attribute该数据集基于DukeMTMC-reID数据集，加入了行人属性（如性别gender/是否背包bag等23种属性），并且提升了DukeMTMC 行人重识别的效果。[19]Market-1501该数据集在清华大学校园中采集，图像来自6个不同的摄像头，其中有一个摄像头为低像素。同时该数据集提供训练集和测试集。 训练集包含12,936张图像，测试集包含19,732 张图像。图像由检测器自动检测并切割，包含一些检测误差（接近实际使用情况）。训练数据中一共有751人，测试集中有750人。所以在训练集中，平均每类（每个人）有17.2张训练数据。[20]Market-1501数据集DG-Market该数据集利用Market数据集作为训练集，生成出来的图像组成。数据量约为Market-1501的十倍，共128,307张生成图像。可以用作半监督学习，辅助训练。[21]DG-Market数据集Market1501-attribute该数据集基于Market-1501数据集，加入了行人属性（如性别/是否背包等27种属性），并且提升了Market-1501上行人重识别的效果。[22]CUHK03该数据集在香港中文大学内采集，图像来自2个不同摄像头。该数据集提供 机器检测和手工检测两个数据集。 其中检测数据集包含一些检测误差，更接近实际情况。平均每个人有9.6张训练数据。[23]CUHK03数据集三维空间数据集现有科研工作往往集中于二维的图像空间，2021年后发展方向渐渐向三维空间扩展，比如，将行人映射到三维空间，该数据集通过引入人体的三维几何结构来辅助行人识别。[24]

发展方向1.自然语言检索通过对行人的语言描述来找到指定行人。[25] 如图1，寻找蓝色衬衫的女性。图12. 利用生成数据 辅助训练使用生成对抗网络(GAN)生成更多数据，辅助数据驱动的深度学习。[16][21]3.迁移学习由于数据集与现实数据之间的差异，导致在数据集A上训练好的模型在现实数据B上性能表现不佳。 学界主要采用迁移学习的方法，在有标签的数据集A（比如Market-1501）和无标签数据集B（比如DukeMTMC-reID训练集抹掉训练标签）上训练，最后在数据集B的测试集上测试。[26]

参考文献：

【1】我国科学家对行人再识别研究取得突出进展 · 国家自然基金委 [引用日期2017-05-23

[2] 深度学习在视频目标跟踪中的应用进展与展望 · 自动化学报 [引用日期2017-05-23]

[3] 行人再识别：平安城市添利器 · 科学网 [引用日期2017-05-22]

[4] 依图加速行人重识别(ReID)大规模商业化落地 · 光明网 · 2020-04-01 [引用日期2020-04-02]

[5] 行人重识别：从哈利波特地图说起 · 知乎文章 [引用日期2017-05-22]

[6] Person Re-identification by Local Maximal Occurrence Representation and Metric Learning · arXiv · 2014-06-17 [引用日期2017-05-23]

[7] An improved deep learning architecture for person re-identification · IEEE [引用日期2017-05-23]

[8] Pose Invariant Embedding for Deep Person Re-identification · arXiv [引用日期2017-05-23][9] Gated Siamese Convolutional Neural Network Architecture for Human Re-Identification · arXiv [引用日期2017-05-23]

[10] 行人对齐+重识别网络：Pedestrian Alignment Network for Large-scale Person Re-identification · 知乎 [引用日期2017-12-18]

[11] Pedestrian Alignment Network for Large-scale Person Re-identification · ArXiv · 2017-07-03 [引用日期2017-12-28]

[12] Person Re-identification: Past, Present and Future · arXiv [引用日期2017-05-23]

[13] A Discriminatively Learned CNN Embedding for Person Re-identification · arXiv [引用日期2017-05-23]

[14] End-to-End Comparative Attention Networks for Person Re-identification · arXiv [引用日期2017-05-23]

[15] Improving Person Re-identification by Attribute and Identity Learning · arXiv [引用日期2017-05-23]

[16] Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in vitro · arXiv [引用日期2017-05-23]

[17] 用GAN生成的图像做训练？Yes！ · 知乎 [引用日期2017-11-12]

[18] DukeMTMC-reID数据集 · Github [引用日期2017-05-23]

[19] DukeMTMC-attribute · Github [引用日期2018-01-05]

[20] Market-1501数据集 · Market-1501数据集 [引用日期2017-05-23]

[21] Joint Discriminative and Generative Learning for Person Re-identification · arXiv · 2019-04-15 [引用日期2019-04-21]

[22] Market1501-attribute · Github [引用日期2018-01-05]

[23] CUHK数据集 · CUHK数据集 [引用日期2017-05-23]

[24] Person Re-identification in the 3D Space 三维空间中的行人重识别 · arxiv · 2020-06-08 [引用日期2020-06-13]

[25] Dual-Path Convolutional Image-Text Embedding · arXiv · 2017-11-15 [引用日期2017-12-28]

[26] 行人再识别中的迁移学习：图像风格转换 · 知乎 [引用日期2018-01-11]