行人重识别学习笔记

1 问题陈述

行人重识别(Person re-identification)是一个图像检索的子问题,是利用计算机视觉技术判断图像或视频中是否存在特定行人的技术,即给定一个监控行人图像检索跨摄像头跨场景下的该行人图像。但由于目前产业孵化还存在许许多多的问题,行为重识别技术还亟待进一步优化。本文主要针对行人重识别技术现面临的挑战,提出一些解决思路与策略。

2 研究背景

行人重识别技术是人脸识别的一个重要补充,可以对无法获取清晰拍摄人脸的行人进行跨摄像头连续跟踪,增强数据的时空连续性。该技术可以弥补当前固定摄像头的视觉局限,并可与行人检测、行人跟踪技术相结合,应用于视频监控、智能安防、智能寻人、智能商业等领域。

3 待解决的问题

  1. 低分辨率:用摄像头截取图片时,可能会出现运动模糊问题,导致图片的模型训练受到影响。

  2. 遮挡:存在雨伞、柜台等障碍物遮住行人身体的状况。

  3. 视角、服装、姿态、发型变化:摄像头放置位置不同,视角就不同了。随着时间的推移和季节变化,行人的服装、姿态、发型也会有变化。

  4. 光照变化:对于摄像头放置的不同位置,光照强弱和周边环境都不相同,对图片的训练会造成影响。而且在跨摄像头的问题上,可能会有domain gap的存在。

  5. 数据采集:数据集通常是通过人工标注得到的行人图片,分为训练集、验证集、Query、Gallery。但现在公开的数据集与真实场景的数据集差距较大。在一个数据集上训练好的模型无法用于另一个数据集上。数据采集中还包括以下子问题:

  • 若建立视频的数据库,数据太大了,模型也不见得小,数据存储和训练模型都需要消耗大量资源;
  • 大规模搜集数据会涉及隐私问题;
  • 视频不方便标注,会有标注噪声的存在;
  • 有可能会出现长尾效应,20%的id占据了80%的数据量,导致数据不平衡。

4 解决思路

  1. 数据集部分采用弱标注,这样就有了一部分精确标注和一部分弱标注,这种方法可以适当降低成本;
  2. 针对业务场景进行适当的数据增强(data augmentation);
  3. 随机擦除图片中的某一区域,防止过拟合,增加泛化能力;
  4. 对于人体的不同部分,采用多任务策略,对图片进行decompose,利用关键点、人体姿态等人的先验知识定义局部区域;
  5. 使用生成对抗网络(GAN)造图,扩充数据集,但可能会存在较大的domain gap,所以还需要配合标签平滑(label smooth);
  6. 对于长尾效应,可以对数据量小的id重采样,对数据量大的id降采样。

5 研究方法

  1. 特征提取:检索图Query经过网络,抽取图片特征;
  2. 度量学习:将学习到的特征映射到新的空间使相同的人特征计算距离更近,不同的人更远;
  3. 图像检索:根据图片特征之间的距离进行排序,排序越靠前表示相似率越高,返回检索结果;
  4. 模型评估:利用rank-k、CMC曲线、Map曲线评价算法的性能。
  • rank-k:算法返回的排序列表中,前k位若存在检索目标则称为rank-k命中;
  • CMC(Cumulative Match Characteristic):计算rank-k的击中率,形成rank-acc的曲线;
  • mAP(mean average precision):反映检索的人在数据库中所有正确的图片排在列表前面的程度,能更加全面地衡量ReID算法的性能。
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页