CVPR2019行人重识别论文笔记1904.01990：Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-id

原文链接：https://arxiv.org/abs/1904.01990
摘要：
传统的无监督区域自适应方法（unsupervised domain adaptation）的思路是减少已标记域和未标记域之间的特征差异，但是这种方法很大程度上忽略了域内变化。而作者提出了三种内在不变性：样本不变性、相机不变性和邻域不变性（exemplar-invariance, camera-variance and neighborhood-invariance）。引入了存储模块存放目标域的特征和三种不变性。
三种不变性的图示：

样本不变性：学习有差别的样本有利于模型捕捉表层的特征，作者提出将不同的未标记样本相互远离。
相机不变性：通过相机风格转移的图像仍然属于同一id，强迫一个人的图像在风格转移后应该拉近与原图像的距离。
邻域不变性：假设目标域上的目标样本及其邻域可能具有相同的身份，将样本与它的邻域相互拉近。

文章贡献：
（1）提出的三种不变性提升了re-id模型的迁移能力。
（2）提出的存储模型帮助作者利用了全局训练集的相似性，在提升模型精准度的同时，计算的负担很小。
（3）实验结果表示作者的模型远超其他最新成果。

网络结构：

将已标记的数据集和未标记数据集送入网络，以ResNet-50作为网络骨干，在Pooling-5层之后，连接到4096个神经元的全连接层上，将已标记数据集的信息再送入M个神经元的全连接层，再通过Softmax分类。未标记数据集的信息存储起来并计算样本之间的不变性损失值。

样本记忆（exampler memory）：
缓存有键值缓存和缓存编号，键值缓存用于存储从ResNet-50计算出的特征向量，缓存编号就是键值对应图片的编号。键值的更新策略为指数加权平均，α为自设阈值：

目标域的不变性学习：
样本不变性：
给定样本xti先计算与保存特征的余弦相似度，使用Softmax为计算其属于类i的概率，计算公式和损失函数为：

相机不变性：
假设每张图像的相机来源已经确定，文中通过GAN改变图像的风格实现，对于每张图片生成C-1张改变风格的图片，损失函数与Lei类似：

邻域不变性：
为了发掘目标域中可能存在的正样本，首先计算ResNet得到的特征向量和缓存中的键值的余弦相似度，找出与目标样本的k个临近键值，目标样本属于这些临近样本的概率为1/k。损失函数为：

总损失函数为：
整个网络的损失函数为两分支的损失之和。

实验结果：
其中一部分是对超参数调整的实验和消融实验证明网络的有效性，接着又测试了运用这个方法带来的空间代价，可以看出负担很小效果却很显著：

最后与最新的无监督学习模型做对比：

结果证明，这个模型确实效果显著，远超其他模型。

完结撒花！
欢迎大家评论吐槽！