CVPR 2020 | 旷视研究院提出新方法，优化解决遮挡行人重识别问题

IEEE国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 将于 6 月 14-19 日在美国西雅图举行。近日，大会官方论文结果公布，旷视研究院 16 篇论文被收录，研究领域涵盖物体检测与行人重识别（尤其是遮挡场景），人脸识别，文字检测与识别，实时视频感知与推理，小样本学习，迁移学习，3D感知，GAN与图像生成，计算机图形学，语义分割，细粒度图像等众多领域，取得多项领先的技术研究成果，这与即将开源的旷视AI平台Brain++密不可分。

本文是旷视CVPR2020论文系列解读第 3 篇，为了获得遮挡ReID更加鲁棒的对齐能力，本文提出了一种新的框架，来学习具有判别力特征和人体拓扑信息的高阶关系。

• 论文名称：High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification

• 论文链接：https://arxiv.org/abs/2003.08177

 

目录

 

• 导语

• 简介

• 方法

• • 语义特征提取

  • 高阶关系学习

  • 高阶人体拓扑学习

• 推理与训练
  

• 实验

• • 遮挡（Occluded）数据集结果

  • 半身（Partial）数据集结果

  • 全身（Holistic）数据集结果

• 结论

• 参考文献

• 往期解读

导语

行人重识别（ReID）任务的目标是去匹配不同摄像机拍摄到的同一个人的图像，它广泛应用于视频分析、智慧城市等领域。虽然人们近来提出了多种针对ReID的方法，然而，它们大多侧重于人的全身图像，忽略了更具挑战性且也是实际应用中经常出现的行人遮挡问题。

 

如图1所示，人们很容易会被一些障碍物（如行李、柜台、人群、汽车、树木）遮挡，或者由于部分身体走出了摄像机拍摄区域而造成遮挡。因此，有必要去准确匹配只具有局部可观测的行人图片，这就是所谓的遮挡行人重识别（Occluded Person Re-Identification）问题。

 

图1：使用高阶信息来解决遮挡行人重识别

与匹配出现人整体信息的情况相比，遮挡情况下的ReID更具挑战性，原因如下：（1）在遮挡区域中，图像包含的辨别信息较少，使得更容易被匹配到错误的人身上去。（2） 基于身体部位之间的特征信息做匹配虽然有效，但需要事先进行严格的人体对齐，因此遮挡严重时效果不佳。

 

近年来，人们提出了许多针对遮挡或具体部位的ReID方法，然而大多数只考虑了特征学习和对齐的一阶信息。本文认为，除此之外，高阶信息同样应被考虑，且可能会使遮挡ReID问题得到更好的解决。

 

在图1(a)中，可以看到关键点信息会受遮挡(1, 2)和异常值(3)所影响。比如，关键点1和2被遮挡，导致无意义特征；关键点3是异常值，导致对其偏差。

 

图1(b)展示的是一个常见的解决方案。它提取关键点区域的局部特征，并假设所有关键点准确且局部特征对齐良好。在这里，所有三个阶段（特征提取、对齐、匹配）都依赖于关键点的一阶信息，鲁棒性不强。</