综述3 | 基于深度学习的行人重识别研究

1. 引言

• 概念：行人重识别技术为解决图像检索问题，即根据行人的衣着、姿态、发型等信息从非重叠摄像机视角下的行人图像库中找到与某行人属于同一身份的图像。
• 挑战：① 监控视频被采集于不同场景。光线、检测、跟踪的误差、遮挡和背景杂波等因素，图片中行人外观常存在严重变化；② 受限于视频监控探头的安装高度及密度，实际拍到更多的是行人的头顶、背部或侧脸。即使拍到行人正面，由于距离、行走速度等原因，也可能导致拍摄图像模糊不清。③ 加之各种摄像机分辨率也不尽相同，给行人重识别带来了极大挑战。

2. 有监督学习

• 优势：特征相似度是判断不同图片中行人是否属于同一身份的依据，故特征提取尤为重要，有监督学习可利用标注信息有效提取判别力较强的特征。
• 基于局部分块的行人重识别。全局特征的局部信息表示能力有限，辅以局部特征可为判别提供更多依据，从而提高行人重识别准确率。比如，身体对应的局部特征可以解决空间错位问题。
• 基于细粒度信息的行人重识别。如何区分外观相似的行人是行人重识别的挑战之一，解决此类问题的关键是提取细粒度信息，诸如姿态估计、人体解析等。
• 基于注意力机制的行人重识别。一般基线网络总会选取人体最具判别力的部分作为行人重识别的判断依据，但研究者们并不希望只关注部分区域，而是能够提取出较为完整的人体信息，即寻找更多值得注意的区域。
• 基于GAN网络的行人重识别。① GAN 网络可处理图像补全问题，为解决部分遮挡行人重识别问题提供了一种图像补全方式。② GAN网络可辅助生成更多样本，如利用 GAN 网络生成具有其他相机风格与不同姿态的逼真样本来丰富训练集，解决因缺乏不同姿态的行人训练数据而导致难以匹配的问题。

3. 无监督学习

• 基于聚类的行人重识别。基于聚类的行人重识别方法通常会根据图像特征进行聚类操作，并基于聚类结果为图片标注伪标签，为特征提取提供一定判断依据。
• 基于软标签的行人重识别。在缺乏标记数据且行人重识别应用场景各异的情况下，使用迭代聚类和标注软标签是目前较有效的两类方法，但迭代聚类的聚类数量通常难以确定，此外，聚类误差易导致错误的伪标签和训练损失。以相似度为依据计算目标图片中行人属于某身份的概率，并以此作为图片软标签，可避免错误伪标签带来的损失。
• 基于Tracklet的行人重识别。当无监督行人重识别方法应用到视频数据集时，可提取行人所在的多个连续帧，记为一个Tracklet（关联轨迹）。提取Tracklet的同时可获取相机标签信息（Tracklet 来自同一视频），此时无监督行人重识别任务转换成无监督Tracklet识别问题。

4. 方法比较

• 常见的试验标准有 Rank-n 和 mAP，其中Rank-n表示n张图片以内可找到正确图片的概率，mAP用来评估整个模型的平均性能。
• 有监督：目前各数据集上的有监督行人重识别准确率均已较高，Rank-1可达95.7%
• 针对视频的无监督：① 研究较少，大多使用MARS数据集；② 基于Tracklet关联是目前较常采用的方法，而其他方法则相对较少。③ 由于针对视频处理时，需从中提取关键帧，而提取过程未必完全准确，故针对视频的行人重识别效果相比于针对图片行人重识别效果较差。
• 针对图片的无监督学习：① 使用聚类的无监督效果最好，提升最多；② Market1501数据集和DukeMTMC-ReID 数据集使用较多；③ 从 2019 年 到 2020 年，在 Market1501 数据集上，mAP 性能从38.3%提升到了68.3%

5. 未来研究方向

1. 跨域识别。研究如何增强行人重识别网络的可扩展性以及消除不同数据集差异的影响，可减轻在跨数据集时产生的识别性能下降问题，有待深入研究。
2. 无监督学习。无监督学习无需数据标注，且具有较高的可扩展性和可移植性，更适用于实际应用。但因缺少标记数据来引导网络训练，目前识别准确率较低。研究如何利用无监督网络提取高鉴别性的特征，提高行人重识别准确率，有利于增强深度学习网络的实际可用性，具有较高的研究价值。
3. 网络复杂度。如何减轻网络复杂度，降低人工干预度，提高网络架构的自适应能力是一个值得进一步研究的方向。

 
 
 

参考文献：https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFDLAST2021&filename=JSSG202012013&v=%25mmd2BDz4dyi2ME%25mmd2B1%25mmd2Fn9hPEREjCRvEZx9O%25mmd2F33AP0L6SsAXM%25mmd2FdfRvfJtqXLfOU6wyP87QA