Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification理解

行人重识别之监督学习与无监督学习结合（CVPR2019）

贡献

该论文提出了存储器的概念用来优化特征提取网络。

改论文将监督学习与无监督学习结合起来了。

部分论文翻译

         在此基础上，我们提出了一种新的无监督域自适应方法，在训练过程中，在网络中引入一个样本存储器来存储目标集合中每个样本的最新表示。内存使我们能够对整个/全局目标训练批而不是小批执行不变性约束。这有助于我们在网络优化过程中有效地进行目标域的不变性学习。

摘要

         本论文研究了域自适应人再识别（re-ID）问题：从有标记的源域和无标记的目标域学习re-ID模型。传统的方法主要是减小源域和目标域之间的特征分布差距。然而，这些研究大多忽略了目标域的域内变化，这些变化包含了影响目标域测试性能的关键因素。本文综合研究了目标域的域内变化，提出了reid模型的三种基本不变性，即样本不变性、摄像机不变性和邻域不变性。为了实现这一目标，引入了一个样本存储器来存储目标域的特征，并适应这三个不变性。内存允许我们在全局训练批上强制执行不变性约束，而不会显著增加计算成本。实验证明，这三个不变性和所提出的记忆对于一个有效的域自适应系统是必不可少的。在三个re-ID域上的实验结果表明，我们的域自适应精度大大优于现有技术。代码位于：https://github.com/zhunzhong07/ECN

出发点

        把目标数据集的每个摄像头当做一个域，设计损失函数完成每个摄像头的不变性以、样本不变性以及领域不变性。

网络结构

在现实中，每个人的样本都可能与其他样本存在显著差异，甚至属于同一身份。因此，通过学习区分个体样本，使得re-ID模型能够捕获人的表示。在此基础上，引入样本不变性，通过强制每个人样本靠近自己，远离他人，来学习未标记目标数据的明显相似性。其次，相机风格的变化[44]可能会显著改变人的外貌，是影响人的识别的一个关键因素。然而，由摄像风格转换产生的人物形象仍然属于原始身份。考虑到这一点，我们在假设人物图像和相应的相机样式传输的图像应该彼此接近的情况下，强制执行相机不变性[43]。第三，假设我们得到了一个在源域和目标域上训练的合适的reID模型。目标示例及其在目标集中的最近邻居可能具有相同的标识。考虑到这一特点，我们通过鼓励一个样本与其对应的可靠邻居彼此接近来表示邻域不变性。这有助于我们学习一个更健壮的模型，以克服目标域的图像变化，例如姿势、视图和背景变化。网络结构图如下：

蓝色箭头部分代表监督学习，输入图片为源域数据集，橙色箭头代表无监督学习，输入为目标域图片，与以往无监督域适应不同，这个网络将监督学习与无监督学习结合起来训练。前面是ResNet的特征提取部分，后面分为监督学习的id的softmax损失函数以及无监督学习的三个损失函数。无监督部分有个存储器，结构为键值对，key为目标数据集的所有图片提取的特征，value为序号，这些序号作为目标数据集的软标签，从1-目标数据集总数n，这是为了将学习目标数据集的样本独立性，使得模型能够学到每张图片的显著性表示，每张图即使属于同一个id，外观上可能也存在区别，而通常分类以及查询靠前的都是外观相似的，因为更可能地依靠的外观信息而不是语义信息。训练时将每一张目标数据集的图片输入预计它属于开始分配软标签的概率，这是通过首先计算其特征与密钥存储器中保存的特征之间的余弦相似度，存储器中key初始为0，然后使用softmax函数计算目标域数据提取的特征xt,i  属于类i的预测概率：

损失为：

 

每次反向传播的时候更新存储器中的key，a随着epoch逐渐增大，表明学到的特征越来越准确：

论文中把目标数据集中不同摄像头看做不同的域，因此有了相机不变性损失，首先用stargan生成目标域各个摄像头风格的图片，并且保证他们的预测结果相同，有了如下损失：

论文还提出了领域损失，意思是，与查询目标图片最相似的k个图片中(与存储器中图片做对比)可能存在实际ID相同的图片(这里不是指存储器id，指的是这两张图就是一个人)，那么把这些图片的id分别计算交叉熵损失。同时去除对预测为i的损失的计算，上面样本不变性损失计算过了，损失如下，M(x,k)是最相似地id 的集合：

wij是分配的权重 

 总体损失如下：

 式中j∈M（x*t，i，k）。x∗t，是从xt的并集及其相机样式传输的图像中随机采样的图像。NTI训练批中的目标图像数。在式8中，当i=j时，我们通过将x*t，ii分类到它自己的类中，利用样本不变性学习和摄像机不变性学习来优化网络。当i 6=j时，通过引入x*t，使网络在M（x*t，i，k）中接近邻域，利用邻域不变性学习对网络进行优化。