Invariance Matters: Exemplar Memory for Domain AdaptivePerson Re-identification

曾英俊

于 2021-11-20 15:30:50 发布

阅读量1.7k

点赞数

分类专栏：学习总结文献阅读机器学习文章标签：机器学习文献阅读 Re-ID 无监督学习 UDA

本文链接：https://blog.csdn.net/yanhu6955/article/details/121439124

版权

机器学习同时被 3 个专栏收录

8 篇文章 0 订阅

订阅专栏

学习总结

7 篇文章 0 订阅

订阅专栏

文献阅读

6 篇文章 0 订阅

订阅专栏

1 Introduction

该文献针对UDA应用于re-ID任务上主要通过减少图像级或属性特征级上源域和目标域之间的差距来解决个人识别中的问题，存在忽略目标域的域内变化。在本研究中，作者研究了三种基本不变性，即样本不变性、相机不变性和邻域不变性，并提出了一种新的无监督域适配方法，在训练过程中，在网络中引入样本记忆，以记忆目标集每个样本的最新表示。

2 Methodology

2.1 Overview of Framework

作者使用ImageNet上预先训练的ResNet-50作为基本网络，并添加4096维全卷积层作为FC-4096，与标准化等组件作为分类模块。另一个组件是用于对未标记的目标数据进行不变性学习的示例存储模块。示例存储器用作功能存储器，用于为每个目标图像保存FC-4096层的最新输出。

2.2 Supervised Learning for Source Domain

由于源图像的标识可用，作者将源域的训练过程视为一个分类问题。交叉熵损失用于优化网络。

$L_{src}=-\frac{1}{n_{s}}\sum_{i=1}^{n_{s}}log\: p(y_{s,i}\mid x_{s,i})$

2.3 Exemplar Memory

作者采用估计目标图像之间的相似性来提高网络在目标测试集上的泛化能力。该过程有示例存储器实现，其由键值存储器K和值存储器V组成。在每次训练迭代期间，对于目标训练样本集i，作者通过deep-reID网络转发它，并获得FC-4096，L2归一化特征。在反向传播过程中，训练样本的密钥存储器中的特征的更新公式为：

$K[i]\leftarrow \alpha K[i]+(1-\alpha )f(x_{t,i})$

2.4 Invariance Learning for Target Domain

作者提出仅使用源域训练的re-ID模型对目标域的域内变化敏感，这是影响性能的关键因素，所以有必要考虑从源域到目标域的知识转移问题。

对于样本不变性，作者将目标图像作为不同类，即每个人的形象可以接近自己，而远离他人。样本不变性的目标是最小化目标训练图像的负对数似然.

$p(i\mid x_t,i)=\frac{exp(K[i]^Tf(x_{t,i})/\beta )}{\sum_{j=1}^{N_{t}}exp(K[i]^Tf(x_{t,i})/\beta )}$

$L_{ei}=-log\, p(i\mid x_{t,i})$

对于相机不变性，作者使用StarGAN训练目标域的相机样式，用于生成不同的真实目标图像的其他样式图像。为了在模型中引入相机不变性，作者认为每幅真实图像及其风格转换对应物具有相同的身份。

$L_{ci}=-log\, p(i\mid \hat{x}_{t,i})$

对于邻域不变性，作者通过示例存储器计算特征之间的余弦相似性得到top-k最近邻。邻域不变性的目标表示为软标签损失。

$w_{i,j}=\left\{\begin{matrix} \frac{1}{k}, &j\neq i \\ 1, &j=i \end{matrix}\right.,\forall j\in M(x_{t,i},k)$

$L_{ni}=-\sum_{j\neq i}^{}w_{i,j}\, log\, p(j\mid x_{t,i}),\forall j \in M(x_{t,i},k)$

通过综合考虑样本不变性、摄像机不变性和邻域不变性，目标训练图像的整体不变性损失学习可以写成：

$L_{tgt}=-\frac{1}{n_{t}}\sum_{i=1}^{n_{t}}\sum_{j}^{}w_{i,j}\, log\, p(j\mid x_{t,i}^{*})$

2.5 Final Loss for Network

通过结合源域和目标域的损耗，网络的最终损耗公式如下：

$L=(1-\lambda )L_{src}+\lambda L_{tgt}$

2.6 Discussion on the Three Invariance Properties

范例不变性使每个范例彼此分离。扩大来自不同身份的样本之间的距离是有益的。但是，相同身份的样本也会相距很远，这对系统有害。相反，邻域不变性鼓励每个范例及其邻居彼此靠近。减少同一身份的样本之间的距离是有益的。然而，邻域不变性也可能拉近不同身份的图像。样本方差和邻域不变性之间存在一种权衡，前者的目的是引导来自不同身份的样本远离，而后者则试图鼓励相同身份的样本彼此接近。相机不变性具有与样本不变性相似的效果，并导致样本及其相机样式转移样本共享相同的表示。

3 Experimental Studies

3.1 Datasets

作者在三个大规模人员重新识别基准上评估了所提出的方法：Market-1501、DukeMTMC reID和MSMT17。

3.2 Performance evaluation

性能通过累积匹配特性（CMC）和平均精度（mAP）进行评估。

3.3 Experimental Results

表2报告了基线的结果。当使用标记的目标训练集进行训练并在目标测试集上进行测试时，基线达到了较高的精度。然而，当基线仅使用标记的源集（仅称为源集）进行训练并直接应用于目标测试集时，作者观察到性能严重下降。

如表3所示，基于示例内存的方法明显优于基于小批量的方法。

表4报告了在Market-1501和DukeMTMC-reID上测试时的比较。

如表5所示，当使用Market-1501和DukeMTMC-reID作为源域时，作者的方法明显优于PTGAN。

4 Conclusion

在本文中，作者提出了一种基于样本记忆的无监督域自适应（UDA）方法，用于人员识别任务。通过利用样本记忆，可以直接评估目标样本之间的关系。因此，作者证明可以在网络训练过程中有效地强化目标域的基本不变性约束。实验证明了不变性学习对于提高深度re-ID模型的可传递性的有效性。作者的方法在三个大规模领域产生了最新的UDA精确度。