【论文笔记】Pose Transferrable Person Re-Identification

 

Abstract

行人重识别领域的一个关键挑战是如何在当前的标准数据集(Market1501,DukeMTMC-reID,CUHK03)没有充足的行人姿态变换的数据的情况下 训练一个鲁棒的行人重识别系统。 为了解决这个问题，论文提出了一个可变换行人姿态的行人重识别框架。

1. Introduction

姿态的变化是阻碍学习一个鲁棒Reid模型的关键因素之一。最近，基于方法的深度卷积网络也已经被广泛地研究，包括学习深度的特征和判别指标去解决Reid任务中“类别多样本少”的问题。

基于近来比较成功的GAN，Zheng[50]提出了生成大量不带标签的行人样本和分配统一标签去生成不带标签的图像用于Reid特征学习。然而，这些非监督的样本生成方法存在一些问题：1）非监督样本不能为训练模型带来足够的判别信息2）由于人门形体的复杂性，直接应用传统的GAN，将只能产生严重扭曲的行人样本3）更重要的是，早期的GAN模型只能试图生成更好的视觉样本，并不能针对Reid中更好的判别力，这严重限制了生成样本的使用。

为了明确的解决这个问题，這篇论文提出了一个新颖的姿态转换框架，在单帧情况下为可判别Reid训练模型生成监督样本。动机如图所示。首先，观察MARS [44]数据集具有丰富的人体姿势变化，提出的生成方案是从中提取姿势（即骨架），以及 然后基于GAN模型的新变体在新姿势中生成监督样本增强。其次，与之前的GAN模型只考虑生成的样本是否看起来真实相反，我们提出的生成网络采用了一个导向模块，该模块具有ReID交叉熵损失或三重态损失。导向器子网与传统鉴别器协同工作，共同追求良好的视觉质量以及ReID的极大判别力。此外，为了在训练期间平衡实际样本和生成样本之间的贡献，我们使用标签平滑度方案进行交叉熵训练，并调整三元组采样策略和模型训练的余量。大量的实验结果表明，我们的方法可以增强学习的ReID模型的表示能力和辨别力。 与此同时，提出的想法是普遍的，可以很容易地扩展到其他任务，这些任务需要人体样本增加与姿势变化，如行人检测和行人跟踪等。

2. Related Work
进来生成对抗网络已经得到广泛研究。一方面，一些研究探索了改善模型结构和优化模式。他们的研究主要是的GAN模型能够生成更加真实的样本或者更容易优化。另一方面，许多研究聚焦在GAN的应用。行人重识别因为其重要的应用价值而引起关注。大多数研究都集中在两个方面，增强特征学习和距离度量学习。然而，设计深度网络和距离度量很容易导致过拟合。GAN被用于生成具有多种背景的样本去增强ReId模型，然而许多行人姿态没有考虑在内，一些研究用生成的不代标签的样本改善效果，然而严重的畸变和不带标签的样本限制了改进。我们提出了生成已标记的多种姿态的样本以提升ReID模型的效果。并且预训练的ReID模型用于指导GAN的训练并使生成的样本更适合于行人的ReID任务。

3. Methodology
3.1. Motivation and Overview

增强Reid训练模型学习的关键是提供充足的训练数据，并且这些数据可以覆盖广泛地行人姿态变化。最近，很少有研究[50]试图利用生成对抗训练方案进行数据增强。然而基于以上提到的，这些方法存在一些缺陷：1）生成的样本不能带有准确的信息，这导致只能改善歧视性的边际ReID模型训练2）直接应用GAN只能考虑生成的样本时候看起来真实，这个跟Reid的效果没有任何联系。

为了解决这些问题，我们提出了一个姿态转换Reid结构，如图2。我们的框架包含了两个部分，第一，被最近一些骨骼到图像的方法启发，我们将来自富含姿势的数据集（如MARS）的大量姿势（即骨架）转移到ReID基准中的标记人类实例上，因此会生成大量标记数据。第二，我们提出了一个导向器子网络，它与GAN中的传统鉴别器配对，以便直接促进判别性功率提升（即，交叉熵损失或三重态ReID丢失）。

3.2. Pose Transfer Module: Generator-GuiderDiscriminator
3.2.1 Skeleton-to-Image Generation
训练一个skeleton-to-image 网络需要输入三元组数据：一个行人的图片 x ，一个不同姿态的骨架图