阅读笔记：Structured Domain Adaptation with Online Relation Regularization for Unsupervised Person Re-ID

最新推荐文章于 2023-11-08 15:48:32 发布

big-dataa

最新推荐文章于 2023-11-08 15:48:32 发布

阅读量370

点赞数 2

文章标签：无监督学习大数据深度学习

本文链接：https://blog.csdn.net/qq_42822363/article/details/111410534

版权

paper: https://arxiv.org/pdf/2003.06650.pdf
code: https://github.com/yxgeee/SDA
参考请引用：

Ge, Y., Zhu, F., Zhao, R., & Li, H. (2020). Structured Domain Adaptation with Online Relation Regularization for Unsupervised Person Re-ID. arXiv: Computer Vision and Pattern Recognition.

背景：
当前行人重识别域适应方法一般分为两种：域风格迁移方法和伪标签方法，并且现在伪标签方法性能要整体优于域风格迁移方法。但是作者发现一种比较好的风格迁移方法，充分利用了源域中的样本结构关系，实现了最好的性能。
以前的风格迁移目标只是让迁移后的图片保持和源域图片相同的外观信息，并不包含样本结构信息，所以作者从这出发，做出了一个比较好的工作

在这里插入图片描述
可以看到，左边是现存在的风格迁移方法，在迁移之后，生成的图像之间虽然保持同样的id，但是样本件的结构关系(个人理解：特征距离或者相似度)并没有达成一致，作者认为，生成的图像仅仅应该是风格的改变，样本间的结构关系应该和变化无关，保持相似。
在这里插入图片描述
由上第一个图可以看到，源域前两张图和第三张图不同类别看起来不同，但是经过CycleGAN和SPGAN后导致看起来相似，说明生成图像后这两个不同类别之间的结构发生改变（个人理解：特征距离更近，或者相似度更大），而作者提出的方法就保证了生成的图片这两个类别之间依旧保持不同，保证了样本间的结构一致性。第二个图类似。

贡献：

提出了structured domain adaptation （SDA）方法，创新性的实现了在线关系一致性
域迁移网络和目标域编码器交替更新参数，互相促进实现了更好地性能
达到了最优性能

方法：
在这里插入图片描述
三部分组成：源域编码器，域迁移网络，目标域编码器

源域编码器：
目标：1.为域迁移网络提供源域样本间的结构关系标签； 2.为目标域编码器初始化权重
损失：交叉熵损失和三元组损失
域迁移网络：
目标：生成富含信息的训练样本，不仅保证风格迁移并且保证样本间的结构和源域保持一致
Baseline: CycleGAN
基本损失：

创新点：Online relation-consistency loss：
为了保持生成样本间的结构和源域结构一致，我们首先定义样本间的结构表达式：
每一个样本的的在一个batch中的结构得分可以定义为相似度之比：

$f_n$ : 负样本，指不同类样本，在这里取最困难样本，即取一个batch中距离此样本最近的一个负样本
$f_p$ :正样本，指相同类样本，在这里取最困难样本，即取一个batch中距离此样本最远的一个正样本。
这样，上试中f为源域编码器生成的特征，在第一步预训练结束后就固定参数，所以上一个式子就代表源域中每个样本的结构得分，为一个定值，就可以作为groud-truth来监督生成样本间的结构关系。

同样，我们可以取得域迁移网络生成样本间的每个样本的结构得分：

需要注意的是，此时的f为目标域编码器生成的特征，然后用一个软二元交叉熵损失来约束生成样本间的结构特征：

综上，域迁移网络的总损失为：
目标域编码器：
训练样本集： $X = X^{s→t}∪X^t$
分类器： $C^t$ :f→{ ${1,……,p^s+p^t }$ } , $p^s$ 为源域已有标签，p^t为目标域伪标签
训练方式：
① 首先通过一个聚类方法将目标域样本聚合为pt类，具有相同类中心的划分为同一个伪标签，这个聚类方法可以是现有的任何一种通用方法，在这篇文章中作者使用了K-means、DBSCN做实验
②然后用现有的源域标签和目标域伪标签对目标域编码器进行全监督，损失为常用的交叉熵损失和三元组损失

实验:
写的不小心被删了。。。。看看论文吧