本文带来的是ECCV 2020 Oral 论文《Joint Disentangling and Adaptation for Cross-Domain Person Re-Identification》,提出一种全新的联合学习框架,首先对原始行人特征进行解藕,得到身份敏感信息(id-related)和身份无关特征(id-unrelated),其后在域适应阶段中将id不相关特征进行剔除,有效提升了跨域行人ReID的性能。
动机
无监督域适应方法(UDA)已被广泛应用在跨域行人ReID问题上,不同的行人ReID数据集可能会在季节(行人着装)、背景、视角、光照和相机等方面有一定的差异,这会导致模型在新domain上的识别性能大打折扣。针对行人ReID的UDA方法依然遵循传统的设计原则,那就是要最大限度的缩小源域(source domain)和目标域(target domain)的差距,但是这类方法在自适应的过程中会同时包括id相关和id不相关的特征,而id不相关特征会干扰和限制域自适应的过程,如果能将这一部分特征剔除,让域适应专注于id相关特征,无疑能提高域适应的效果,本文基于此提出了特征解藕(Disentangling)和域适应(Adaptation)联合学习框架。
2
方法
本文方法可以看作是对DG-Net的改进版本,DG-Net发表在CVPR2019上,在单域空间内对特征进行解藕,通过对id相关特征进行加强生成更多的行人数据来训练模型,本文在此基础上将潜在的特征空间分为三部分:shared appearance space(外观特征,用来捕捉id相关信息),source structure space(空间结构特征,用来表示视角、姿态等id不相关特征),target structure space(目标结构空间),模型命名为DG-Net++。由于目标域缺乏标签,同时对id不相关特征也没有明确的定义,直接进行特征解藕具有一定的难度,作者巧妙的引入了循环一致性图像生成任务(cycle-consistency generation),让网络自动区分两种特征,同时只在id相关特征构成的特征空间中执行域适应,图像生成任务由循环一致损失和交叉熵损失监督,图像生成的质量越高,特征解藕的效果就越好,域适应过程也就更容易。
3