学习笔记HHL：Generalizing a Person Retrieval Model--Hetero-Homogeneous Learning UDA郑良2018

0 HHL摘要 Hetero-Homogeneous异质LearningH

对两个不变属性进行加强：1 相机不变性、2 域联结性connectedness

1. 相同相机同域数据样本对：homogeneous 同质
2. 通过源域和目标域负样本对，heterogeneous 异质，train pair(t-s)

1 Intro

再次明确REID，同Camera不同场景，同场景不同camera

1 UDA: 本身t和s类别同，但是数据分布不同。person reid中t和s的ID也不同，数量也不同

2 挖掘：target中相机不变性质

motivatoin: 自适应域内变化

1. 同域中相机不变性，intra-domain而不是iner-domain。因为test的时候，query的probe和gallery中的图像原则上应该是不同camera拍摄的。对于这种细粒度的分类要考虑域内相机不同导致的变化
2. 利用先验知识：s和t可以组合天然的负样本对。还需要理解
   use these negative pairs to learn person embeddings within a triplet loss formulation.
   Deng2018只提出Gan将S生成T域的图像，且保留S的label进行训练。相当于再target域内训练有标签的数据，进行query: Image-image domain adaptation with preserved self-similarity and domain-dissimilarity for person re-identification. In: CVPR (2018)
   HHL：数据：source 标签，target 相机信息（因为容易得到，所以成无target监督，更严格的称弱target supervision）

underpin支持两个属性约束：camera invariance

1. target相机不变性，正样本对：来自同相机图像是同一个域，是homogeneous。用Image2image生成正样本对，每个相机的图像是一风格。
2. 域联通：t和s采样负样本对挖掘 source 和 target 的底层信息特征
   anchor连接s和t—triplet loss

总之：HHL通过引入triplet loss应用了相机不变性、域联通

2 Related work

UDA 最开始方法

1. UDA前人通过缩小T和S的分布差异divergence。通过align 均值、方差 CORAL
2. Deep CORAL 伪标签。用特征的相似性贴伪标签
3. [33]用k-nearest近邻造为标签
4. 用真标签和假标签共同训练。Co-training

最近CyCADA GAN将S变换到T，通过pixel和feature level

Unsupervised person REID

1 手工特征ELF，LOMO，SDALF

通过手工设计鲁棒的特征，忽略数据分布的差异，难以在大的数据集上表现良好

2 Iteratively applying k-means clustering

3 k-reciprocal nearest neigh-bors [29] and iteratively learn features for unsupervised video re-ID.

4 Wu et al.[40] propose a progressive sampling method to gradually predict reliable pseudo labels and update deep model for one-shot video-based re-ID.

5Peng et al. [28] propose to learn a discriminative representation for target domain based on asymmetric multi-task dictionary learning

6 a transferable model is proposed to jointly learn attribute-semantic and identity discriminative feature representation for target domain

上面通过GAN的都是减小S和T的差异，均值和方差。像素级别、特征级别。
intra domain in camera

3 方法

1 问题定义：

The goal of this paper is to leverage both labeled source training images and unlabeled target training images to learn discriminative embeddings for target testing set
HHL：利用labeled Source images和unlabeled Target但是有Camera ID的Images，通过triplet 中anchor正，负学习一个分类空间。

3.3 相机不变性（同域特征）学习 CycleGAN

3.4 域连接学习

3.5 HHL：异-同学习----相机不变性，s和t的连接域 学习

3.6 总结

1. 相机不同的影响很大，不管同域还是S2T，Camera style transfer，下图证明了Camera transfer比随机剪裁和反转要好
   
2. How to sample 采样 training images from target domain？：三种策略
   • 随机mini batch 没有ID重叠的images
   • cluster-based sampling 先K-means成$n_t$类别根据当前模型，再采样每个ID一张，
   • Supervised sampling：假设target有label，随机选择target 中的ID 图像不重复
     -结果分析：效果差不多
     

4 实验结果

HHL

Baseline是IDE：ID loss 的embedding space




(S和T通过cycleGan转换减小分布差异）
PTGAN：Person transfer gan to bridge domain gap for person REID.
SPGAN：Image to Image domain adaptation with preserved self-similarity and domain-dissimilarity for person re-identification2018
PUL: Unsupervised person REID: Clustering and fine-tuning.
CAMEL: Crossview Asymmetric Metric Learning for unsupervised person REID
UMDL: Unsupervised cross-dataset transfer learning for person REID
TJ-AIDL: Transferable Joint Attribute-Identity deep learning for unsupervised person reid

LOMO: Person re-identification by LOcal Maximal Occurrence representation and metric learning. In: CVPR (2015）局部最大事件表征