【实例间对比】ICE: Inter-instance Contrastive Encoding for Unsupervised Person Re-identification论文笔记

思路及创新点

提出了实例间对比编码（ICE），它利用实例间成对相似度分数来提升效果。使用成对相似度排序作为难样本实例对比的one-hot难伪标签，旨在减少类内方差。然后，使用相似度分数作为软伪标签来增强数据增强后的视图和原始视图之间的一致性，这使得模型对增强扰动更加鲁棒。

上图中online encoder是传统的神经网络，momentum encoder与MoCo类似，通过online encoder的累积权重进行更新。

总损失为：

For a camera-agnostic memory

集群 a 的代理被定义为属于该集群的所有实例的平均动量表示：


fa为online encoder集群 a的输出。通过上述损失，异常值不会从集群实例中推开，这使能够为提出的难样本对比挖掘更多的难样本。

For a camera-aware memory

pab 定义为相机 cb 中属于集群 a 的所有实例的平均动量表示：

给定一个在线表示fab，跨相机代理对比损失是一个softmax log loss，其中pai为一个正跨相机代理和Nneg为最近的负代理数。

其中 < · > 表示余弦相似度，τc 是跨相机温度超参数。 |P|是跨相机正代理的数量。由于这种跨相机代理对比损失，来自一个相机的实例被拉近其他相机的代理，这减少了类内相机风格差异。

Hard Instance Contrastive Loss

一个 mini-batch 由 NP 个身份组成，其中每个身份都有 NK 个正实例。给定一个属于第 i 类的锚实例 fi，对与 fi 的余弦相似度最低的最难的正动量表示 mik 进行采样，见图 4。

其中其中 k = arg min (<fi·mik>)，也就是选择正样本中最不相似的一张。

Soft Instance Consistency Loss

对于数据增强后的一批图像，我们测量anchor fA与所有小批量NK×NP实例之间的实例间相似度，如图4所示。然后，实例间相似度转化为一个softmax的预测分布P：

对于没有数据增强的同一批次，我们测量同一锚的动量表示与所有小批量 NK × NP 实例之间的实例间相似性，因为动量编码器更稳定。我们得到一个目标分布 Q：

实验结果