行人重识别学习笔记

1 问题陈述

行人重识别（Person re-identification）是一个图像检索的子问题，是利用计算机视觉技术判断图像或视频中是否存在特定行人的技术，即给定一个监控行人图像检索跨摄像头跨场景下的该行人图像。但由于目前产业孵化还存在许许多多的问题，行为重识别技术还亟待进一步优化。本文主要针对行人重识别技术现面临的挑战，提出一些解决思路与策略。

2 研究背景

行人重识别技术是人脸识别的一个重要补充，可以对无法获取清晰拍摄人脸的行人进行跨摄像头连续跟踪，增强数据的时空连续性。该技术可以弥补当前固定摄像头的视觉局限，并可与行人检测、行人跟踪技术相结合，应用于视频监控、智能安防、智能寻人、智能商业等领域。

3 待解决的问题

1. 低分辨率：用摄像头截取图片时，可能会出现运动模糊问题，导致图片的模型训练受到影响。

2. 遮挡：存在雨伞、柜台等障碍物遮住行人身体的状况。

3. 视角、服装、姿态、发型变化：摄像头放置位置不同，视角就不同了。随着时间的推移和季节变化，行人的服装、姿态、发型也会有变化。

4. 光照变化：对于摄像头放置的不同位置，光照强弱和周边环境都不相同，对图片的训练会造成影响。而且在跨摄像头的问题上，可能会有domain gap的存在。

5. 数据采集：数据集通常是通过人工标注得到的行人图片，分为训练集、验证集、Query、Gallery。但现在公开的数据集与真实场景的数据集差距较大。在一个数据集上训练好的模型无法用于另一个数据集上。数据采集中还包括以下子问题：

• 若建立视频的数据库，数据太大了，模型也不见得小，数据存储和训练模型都需要消耗大量资源；
• 大规模搜集数据会涉及隐私问题；
• 视频不方便标注，会有标注噪声的存在；
• 有可能会出现长尾效应，20%的id占据了80%的数据量，导致数据不平衡。

4 解决思路

1. 数据集部分采用弱标注，这样就有了一部分精确标注和一部分弱标注，这种方法可以适当降低成本；
2. 针对业务场景进行适当的数据增强（data augmentation）；
3. 随机擦除图片中的某一区域，防止过拟合，增加泛化能力；
4. 对于人体的不同部分，采用多任务策略，对图片进行decompose，利用关键点、人体姿态等人的先验知识定义局部区域；
5. 使用生成对抗网络（GAN）造图，扩充数据集，但可能会存在较大的domain gap，所以还需要配合标签平滑（label smooth）；
6. 对于长尾效应，可以对数据量小的id重采样，对数据量大的id降采样。

5 研究方法

1. 特征提取：检索图Query经过网络，抽取图片特征；
2. 度量学习：将学习到的特征映射到新的空间使相同的人特征计算距离更近，不同的人更远；
3. 图像检索：根据图片特征之间的距离进行排序，排序越靠前表示相似率越高，返回检索结果；
4. 模型评估：利用rank-k、CMC曲线、Map曲线评价算法的性能。

• rank-k：算法返回的排序列表中，前k位若存在检索目标则称为rank-k命中；
• CMC（Cumulative Match Characteristic）：计算rank-k的击中率，形成rank-acc的曲线；
• mAP(mean average precision)：反映检索的人在数据库中所有正确的图片排在列表前面的程度，能更加全面地衡量ReID算法的性能。