IEEE国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 将于 6 月 14-19 日在美国西雅图举行。近日,大会官方论文结果公布,旷视研究院 16 篇论文被收录,研究领域涵盖物体检测与行人重识别(尤其是遮挡场景),人脸识别,文字检测与识别,实时视频感知与推理,小样本学习,迁移学习,3D感知,GAN与图像生成,计算机图形学,语义分割,细粒度图像等众多领域,取得多项领先的技术研究成果,这与即将开源的旷视AI平台Brain++密不可分。
本文是旷视CVPR2020论文系列解读第 3 篇,为了获得遮挡ReID更加鲁棒的对齐能力,本文提出了一种新的框架,来学习具有判别力特征和人体拓扑信息的高阶关系。
论文名称:High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification
论文链接:https://arxiv.org/abs/2003.08177
目录
导语
简介
方法
-
语义特征提取
高阶关系学习
高阶人体拓扑学习
推理与训练
实验
-
遮挡(Occluded)数据集结果
半身(Partial)数据集结果
全身(Holistic)数据集结果
结论
参考文献
往期解读
导语
行人重识别(ReID)任务的目标是去匹配不同摄像机拍摄到的同一个人的图像,它广泛应用于视频分析、智慧城市等领域。虽然人们近来提出了多种针对ReID的方法,然而,它们大多侧重于人的全身图像,忽略了更具挑战性且也是实际应用中经常出现的行人遮挡问题。
如图1所示,人们很容易会被一些障碍物(如行李、柜台、人群、汽车、树木)遮挡,或者由于部分身体走出了摄像机拍摄区域而造成遮挡。因此,有必要去准确匹配只具有局部可观测的行人图片,这就是所谓的遮挡行人重识别(Occluded Person Re-Identification)问题。
图1:使用高阶信息来解决遮挡行人重识别
与匹配出现人整体信息的情况相比,遮挡情况下的ReID更具挑战性,原因如下:(1)在遮挡区域中,图像包含的辨别信息较少,使得更容易被匹配到错误的人身上去。(2) 基于身体部位之间的特征信息做匹配虽然有效,但需要事先进行严格的人体对齐,因此遮挡严重时效果不佳。
近年来,人们提出了许多针对遮挡或具体部位的ReID方法,然而大多数只考虑了特征学习和对齐的一阶信息。本文认为,除此之外,高阶信息同样应被考虑,且可能会使遮挡ReID问题得到更好的解决。
在图1(a)中,可以看到关键点信息会受遮挡(1, 2)和异常值(3)所影响。比如,关键点1和2被遮挡,导致无意义特征;关键点3是异常值,导致对其偏差。
图1(b)展示的是一个常见的解决方案。它提取关键点区域的局部特征,并假设所有关键点准确且局部特征对齐良好。在这里,所有三个阶段(特征提取、对齐、匹配)都依赖于关键点的一阶信息,鲁棒性不强。</