[论文阅读]ICE: Inter-instance Contrastive Encoding for Unsupervised Person Re-identification(ICCV2021)

ICE: Inter-instance Contrastive Encoding for Unsupervised Person Re-identification（ICCV2021）

实例间对比学习的无监督行人重识别
领域：USL(w camera)
https://github.com/chenhao2345/ICE

---

Motivation

对比学习在无监督特征学习领域取得不错的效果，最新的方法将每个图像实例视为一个类，并通过匹配相同实例的不同数据增强来学习图像特征。但是一个类又通常由多个正实例完成，当同一身份的不同图像被认为是不同的类时，又会影响Reid任务的性能。在这篇论文中介绍了Inter-instance Contrastive Encoding(ICE)，包含两个方面：
(1)最难正样本对比(hardest positive contrast):将实例与其在batch中的最难正样本匹配，以使聚类更紧凑，提高伪标签质量。
(2)数据增强不变性(augmentation consistency):一个稳健的模型应该对数据增强的失真具有不变性，论文使用实例间的成对相似性作为“软”伪标签来强调数据增强前后的一致性。

Method

Overview:

如图所示，论文主要使用两个encoder，其中Eo在网络反向传播时候更新参数，Em和Eo具有相同的结构，但是通过Eo的累计权重来更新参数。

其中通过Em提取的特征m用于聚类生成伪标签，Eo提取的特征f作为图片的特征。

Proxy Centroid Contrastive Baseline

论文先介绍了一下baseline的方法，baseline中包含两个memory结构，分别为摄像机不可知memory(camera-agnostic memory)、摄像机感知memory(camera-aware memory)。
初始化：
camera-agnostic memory：把同一个类中的所有特征m，求平均得到聚类中心，论文把该聚类中心记为聚类代理 (proxy)

camera-aware memory:同理，把同一个类中拥有相同camera-id的特征m，求平均得到摄像机代理Pab

形成的代理如图所示：

分别通过拉近实例与camera proxy和cluster proxy的距离来约束网络学习属于同一身份的特征和在同一个摄像机内的特征。
具体损失如下：

图中蓝色代表的是Lagnostic、绿色代表的是Lcross
把二者加权和得到代理损失Lproxy

Hard Instance Contrastive Loss(hardest positive contrast)

通过拉近anchor样本与距离最远的positive样本的距离，来约束网络学习同一身份不同实例的更多样化特征。

如图左边所示，A为anchor样本，P为positive样本，在计算相似度过程中，P3与A图片的距离最远，则利用损失把它们的距离拉近，具体损失如下：

其中mki为距离fi最近 最远的正样本。

Soft Instance Consistency Loss(augmentation consistency)

通过拉近对不同数据增强后的样本预测值的分布的距离，来约束网络学习图像不被数据增强干扰的特征。

如图右边所示，第一行样本和第二行样本分别使用了不同的数据增强，对网络提取特征计算相似度的分布(soft label)有一定的距离，所以通过拉近两个分布的距离，即可约束网络学习图像不被数据增强干扰的特征。
得到经过数据增强的分布为P

不经过数据增强的分布为Q

最后通过KL散度来拉近两个分布的距离

网络的总体损失：

Experiments：

损失的消融实验：

T-SNE的可视化对比：

与过去的方法做对比：

---