【文献阅读】Joint Disentangling and Adaptation for Cross-Domain Person Re-Identification

作者：卡耐基梅隆大学
期刊：ECCV2020 -oral

文章总结：
对抗对齐+自训练模块，跨域循环一致性损失
DG-Net++ 通过共享外观编码器结合了解缠结和适应模块。我们提出跨域循环一致性生成，以促进分离与 id 相关（外观）和 id 无关（结构）的因素。

0,摘要：

问题：
1，行人重识别存在领域差距
2，无监督域适应来解决这种可扩展性问题。现有方法通常对包含身份相关和身份无关因素的表示空间进行自适应，因此不可避免地破坏了身份相关特征的自适应效果。

方法：
我们提出了一个联合学习框架，该框架可以分离与 id 相关/不相关的特征，并强制适应专门在与 id 相关的特征空间上工作。我们的模型涉及一个将跨域图像编码到共享外观空间和两个独立结构空间的解缠结模块，以及一个在共享外观空间上执行对抗性对齐和自我训练的适应模块。以防止与身份无关的干扰。

1，介绍

我们提出了一种跨域和循环一致的图像生成，其中三个潜在空间由相应的编码器建模以分解源图像和目标图像。潜在空间包含一个共享的外观空间，该空间捕获与身份相关的特征（即外观和其他语义）、一个源结构空间和一个包含与身份无关的特征（即姿势、位置、视点、背景和其他）的目标结构空间变化）。我们将三个空间中的编码特征称为代码。我们的适应模块专门在共享外观空间中进行，如图 1 所示。

这种设计形成了一个联合框架，在分离模块和适应模块之间建立了互惠互利的合作：
（1）分离导致更好的适应，因为我们可以使后者专注于与身份相关的特征并减轻与身份无关的特征的干扰，并且
（2）随着共享外观编码器在适应过程中得到增强，适应反过来改善了解缠结。我们将所提出的跨域联合解缠和适应学习框架称为 DG-Net++

首先，我们提出了一个用于无监督跨域人员再识别的联合学习框架，以解开与身份相关/无关的因素，从而可以更有效地在与身份相关的空间上进行适应。
其次，我们引入了跨域循环一致性范例来实现所需的分离。
第三，我们的解缠和适配是共同设计的，让两个模块相互促进。
第四，我们的方法在六个基准对上取得了优异的结果，在很大程度上推动了行人重识别系统在现实世界中的部署。

2，方法

DG-Net++ 通过共享外观编码器结合了解缠结和适应模块。我们提出跨域循环一致性生成，以促进分离与 id 相关（外观）和 id 无关（结构）的因素。我们的适应模块涉及对抗性对齐和自我训练，它们与分离模块共同设计，以针对与身份相关的特征并更有效地适应。

2.1 跨域生成：

我们引入了跨域循环一致性图像生成，以加强外观和结构因素之间的分离。
给定一对源图像和目标图像，我们首先交换它们的外观或结构代码以合成新图像。由于对合成图像不存在真实监督，我们利用循环一致性自监督通过交换从合成图像中提取的外观或结构代码来重建两个真实图像。

有了源域中可用的身份标签，我们然后明确地强制共享外观编码器通过使用身份损失来捕获与身份相关的信息
使用对抗损失来匹配合成图像和真实数据之间的分布：
图像鉴别器 Dimg 跨域共享，以强制合成图像逼真，而不管域如何。这可以间接驱动共享外观编码器学习域不变特征。

2.2 对抗对齐

尽管外观编码器的权重在源域和目标域之间共享，但仍然不能确保跨域的外观表示具有相似的分布。为了鼓励两个域中外观特征的对齐，我们引入了域鉴别器 Ddom，旨在区分编码外观代码 νs(i) 和 νt(j) 的域成员资格。在对抗训练期间，共享外观编码器学习生成 Ddom 无法区分域成员身份的外观特征，从而可以减小跨域外观特征分布之间的距离。

2.3 自我训练：

除了上述域对抗性损失强加的全局特征对齐外，我们还在适应模块中加入了自我训练。
本质上，具有识别损失的自我训练是一个熵最小化过程，逐渐减少类内变化。它隐式地关闭了共享外观空间中的跨域特征分布距离，同时鼓励判别力外观特征学习。