SSG： Self-similarity Grouping阅读总结

Self-similarityGrouping: ASimpleUnsupervisedCrossDomainAdaptation ApproachforPersonRe-identification
paper： arxiv
code: github
author: Yang Fu, Yunchao Wei et al. ICCV 2019

Why?

目前做跨域ReID无非以下几点：

• UDA针对闭集，但ReID是开集
• 目标域transfer到源域风格，基于GAN，但什么是风格？相机？衣服？相机当作风格确实获得了很大的性能提升，如ZZ大佬的CamStyle,HHL, ECN以及ECN+GCN。
• 目标域和源域都transfer到一个共同的空间中，也就是学习域不变性特征，当然也可以辅助以域特定特征，这方面比如ARN那篇论文，但这篇论文我复现的时候没有达到作者报告的那个精度。
• 聚类打伪标签，显然这是一个没有充分开发的方向
• 其他的论文大多也都是以上方法的一种，比如TJAIDL基于属性做跨域，算是学习了属性这一不变的特征，但也存在问题。因为ReID目前的属性数据集都是基于ID打的，也就是一个ID打了某属性，他的所有图像都会打上相同的属性，但这也存在不合理之处。比如，某个ID打了背包属性，在背面照中可以看到这个信息，但正面照中基本看不到背包(基本就只能看到背包带)，甚至他把书包给同学带走(即使目前ReID考虑的是短时间段，但也都是几个小时的视频，足够完成这个过程)，但却强制让网络学习他背了书包，这显然不是一个合理的现象。还有一些也都类似。
  于是作者从打伪标签下手。

How?

先上图：

首先依然是全局特征+局部特征(上半身+下半身)；然后对于上面的CNN Model，就是先在源域训练，然后对目标域图像提特征(每张图像3个)，特征经过DBSCAN聚类成Ng类(DBSCAN不需要给目标类数，这个Ng是自己聚出来的)，而且注意三个特征group分别聚类，互不干扰。聚好的结果打个伪标签，然后就是有监督了，用来微调CNN Model，然后在聚类打伪标签和Fine-tune之间循环迭代。这就是SSG。

作者还给了图2：

但这张图好像除了给了Fine-tune时损失计算方式外，没有比图1多余的信息.（源域训练时就是softmax+triplet，fine-tune时没有用softmax，可能是怕直接利用打的伪标签不准（IDE基于强ID标签，triplet这种则是弱ID标签）。

方法似乎就完了。但作者又给了一个打标签的方法：
就是先基于聚类得到Ng类，然后再在每类中随机抽一个样本，人工给他打上标签，再直接放弃之前聚类算法打好的标签，每个样本与这Ng个样本(组成Xg)计算距离(按照ZZ的rerank中的那个k互编码来算，原距离和雅可比距离的融合)，然后将样本分配和其最近的人工打标签的那个数据一样的标签，是一种弱监督方法。但：

可能由于随机抽取Xg时抽到了聚类边界，这多抽几次就可以了，因为中间的占多数。注意：可能最后得到的不一定时Ng类了，可能少于Ng类(抽取的Ng个样本有相同人打的ID，就会发生)。

根据作者的实验，貌似并没有遇到这种情况，可能也比较少见，所以对性能可能也不会有很大影响。这就是SSG+。

将SSG和SSG+联合，就是SSG++。而SSG+中从Ng个类中，每类抽一个样本打标签，利用了聚类得到的信息，增加了ID的多样性，效果会比SSG更好(实验得出，而SSG就是在整个目标域上随机找Ng个样本打标签)

Loss?

监督阶段

最常见的那个，没什么好说的

Fine-tune阶段

SSG:

SSG+:

SSG++:

作者还给了聚类打标签+手工打标签过程联合训练过程：

可以看到，聚类打为标签时还有很多样本没有利用到(红圈圈出来的黑色样本，当然Kmens不会，但要指定聚类数，不够合理)。而人工打标签解决了这一问题，且代价比较低，不然就需要既不会遗漏样本没聚类到，又不需要指定聚类类数的聚类算法了(不知道有没有)。

实验

性能相当强