Joint Discriminative and Generative Learning for Person Re-identification

研究问题

现有的方法中，将GAN应用到行人重识别任务中时，大多数都是将生成与检测相分离开，没有融合到一起来进行实验，本文设计了一种联合学习框架将行人重识别学习与数据生成端到端的结合在一起。从行人重识别模型提取好的行人特征可以作为GAN的input，而GAN生成图像可以用来finetune行人重识别模型。

在介绍本文的框架之前，先介绍一下作者提出的外观编码与结构编码。在作者提出的模型中涉及一个生成模块，它将每个人分别编码为外观代码和结构代码，两种代码可以保证生成的图片高质量并且保证多样性。外观代码主要是行人的衣服或者鞋子颜色，以及其他和行人身份相关的特征信息。代码主要是行人的身高、姿势、视角、位置等信息。表1总结了由两个潜在空间捕获的属性。我们将空间中的编码特征称为“代码”。在了解了这个基本概念之后，接下来我们介绍本文的基本网络框架。                                                                                         

本文的整体框架图如图所示，首先，介绍一下图中字母代表的含义，其中的Ea表示我们刚刚介绍的外观编码，Es表示空间结构编码，G表示生成器模块，D表示与生成模块共享外观编码器的判别模块。Xi,xt,xj表示图片样本，l…… 表示相应的损失 黑色虚线表示结构编码器Es的输入图像灰色 红线表示生成的图像在线反馈给Ea。首先作者对于生成器分为两种策略，一种是自ID生成器，如图中红色框圈出来的部分，另外一种是垮ID生成器。自ID生成器一部分是自身迁移，一部分是同一ID不同图片的迁移，两幅图片分别交换结构特征或者外观特征。黑色框表示垮ID生成器部分，对于生成的图片，还需要重新训练来得到相应的身份外观信息和结构信息，最终对应的a/s的特征重构损失，

给定具有相同/不同身份的任何成对图像，人们能够通过操纵代码来生成逼真且多样的帧内/交叉ID组合图像。 

图像生成表示为在两个图像之间切换外观或结构代码。 

 

 

左边的自身份生成表示真实图片的重识别损失，

对于垮身份的生成器，不同于自身份生成器，不再是像素级的监督，作者通过一种基于外观和结构代码的潜在代码重建来控制图片生成。

右边是生成图片的损失。身份损失中的s表示的是Self-identity的s，不是表示结构代码中的s。

外观空间编码器还与判别模块共享，用作reid学习主干。这种设计导致了一个统一的框架，它包含了生成和判别模块之间的这些相互作用：（1）生成模块产生合成图像，用于在线改进外观编码器; （2）编码器反过来影响生成模块; （3）在共享外观编码器的情况下，两个模块共同优化

主要特征学习：为了更好地捕获这些组合的交叉ID信息，作者引入“主要特征学习”，通过老师-学生的监督模型来对生成的图片标记动态软标签。

采用动态软标记的师生监督方式 ，

相当于生成器中Lid是原图像行人重识别的损失，判别器中Lfine是生成图像行人重识别的损失。

主要特征学习：为了更好地捕获这些组合的交叉ID信息，作者引入“主要特征学习”，通过老师-学生的监督模型来对生成的图片标记动态软标签。

采用动态软标记的师生监督方式 ，

相当于生成器中Lid是原图像行人重识别的损失，判别器中Lfine是生成图像行人重识别的损失。

 

对于一个行人图像，保持其外观代码并结合不同的结构代码，我们可以生成多个仍然保留衣服和鞋子的图像改变姿势，观点，背景等在图1的每一行中，这些图像对应于穿着不同人的相同服装。或者，我们可以保留一个结构代码并结合不同的外观代码来产生各种图像，这些图像保持姿势，背景和一些身份相关的细节但改变衣服和鞋子。如图1的每列所示，这些图像形成了对穿着不同衣服和鞋子的同一个人的有趣模拟。