《Pose Invariant Embedding for Deep Person Re-identification》reid开源 文章翻译

Abstract

行人偏差主要是由探测器误差和姿态变化引起的，是鲁棒的人再识别系统的关键问题。在配准不佳的情况下，背景噪声会显著地忽略特征学习和匹配过程。为了解决这一问题，本文引入了位姿不变嵌入(PIE)作为行人描述符。首先，为了使行人与标准姿态对齐，引入了PoseBox结构，该结构通过姿态估计和仿射变换生成。**其次，为了减少姿态估计误差和姿态估计信息丢失对PoseBox构建的影响，我们设计了一个以原始图像、PoseBox和姿态估计置信度为输入的PoseBox fusion (PBF) CNN架构。**因此，所提出的饼状描述符被定义为用于检索任务的PBF网络的全连接层。实验在1501、CUHK03和VIPeR数据集上进行。我们证明仅PoseBox就能获得不错的re-ID准确性，并且当整合到PBF网络时，学习的饼图描述符与最先进的方法相比，可以产生具有竞争力的性能。

1.Introduction

本文研究了人的再识别问题。给定一个探测(相关人员)和一个图库，我们的目标是在图库中找到包含与探测人员相同的人的所有图像。我们关注识别问题，这是一个检索任务，其中每个探测在[42]库中至少有一个地面真值。影响里德精度的因素有很多，如检测/跟踪误差、光照变化、姿态、视点等。
影响reid准确性的一个关键因素是行人的错位，其原因有两个。首先，行人自然会摆出各种姿势，如图1所示。姿势的变化意味着身体部分在包围盒内的位置是不可预测的。例如，有可能一个人的手举过头顶，或者一个人骑自行车而不是直立。引起失调的第二个原因是检测错误。如图1第二行所示，检测误差可能会导致严重的垂直失调。
当行人排列不齐时，就会影响识别的准确性。例如，在reid中常见的做法是将边界框划分为水平条纹[20,42,1,21]。这种方法是在假定有轻微的垂直偏差的情况下工作的。但是，当垂直偏差确实发生时，就像图1第二行中的情况一样，一个人的头部将被匹配到一个未对齐的图像的背景。因此，当发生严重的错位时，水平条纹的效果可能会更差。在另一个例子中，在不同的行人姿态下，背景可能会被特征提取器错误地加权，从而影响后续的匹配精度。
据我们所知，来自同一组的前两篇文献[8,7]明确考虑了失调问题。两幅作品都使用了图像结构(PS)，其动机和构造过程与PoseBox相似，检索过程主要依赖于匹配规范化的身体部位。虽然构建标准化姿态的想法是相似的，但我们的工作是使用最先进的基于CNN的姿态估计器定位人体关节，PoseBox的组件不同于PS，大规模评估证明了这一点。我们工作的另一个不同之处是匹配程序。虽然[8,7]没有讨论在真实数据集中普遍存在的位姿信息误差，但我们证明了这些误差使得仅与PoseBox进行刚性特征学习/匹配的结果不如原始图像，而三流PoseBox融合网络有效地缓解了这一问题。

考虑到上述问题和以往方法的局限性，本文提出了位姿不变嵌入(PIE)作为鲁棒视觉描述符。这涉及两个步骤。首先，我们为每个行人边界框构造一个PoseBox。PoseBox描绘了一个直立行走的行人。PoseBox在姿态估计器[34]的帮助下进行了精心设计，旨在生成排列良好的行人图像，从而使学习到的特征能够在强烈的姿态变化下找到相同的人。使用一个标准的CNN架构进行单独训练[37,41,44]，我们证明PoseBox产生了非常不