Unsupervised Person Re-identification via Softened Similarity Learning——软化相似度学习的无监督人员再识别

背景：本文研究了re-ID的无监督设置，它不需要任何标记信息，可以自由地被应用到到新的场景中。到目前为止，无监督训练最好的方法之一是使用迭代聚类和分类，将未标记的图像聚类成伪类，以便分类器得到训练，并使用更新后的特征进行聚类等等。该方法采用了迭代聚类和深度学习机制，其中网络基于无监督聚类生成的伪标签进行训练。

解决问题：该方法存在两个问题，即聚类个数难以确定和聚类过程中难以量化的损失。

解决方法：在本文中，我们遵循迭代训练机制，但抛弃聚类，因为它会因硬量化而损失，但它唯一的结果，图像级相似度，可以很容易地被成对计算和软分类任务代替。通过这些改进，我们的方法变得更加简洁，对于超参数更改也更加健壮。

实验过程：在本文中，我们提出了一个新的非监督学习框架，其中不再需要聚类，从而缓解了硬量化损失的误差。并不使用聚类生成的图片，我们挖掘未标记图像之间的关系，作为一种软约束，使相似的图像有更接近的表示。具体地，我们的框架工作采用具有软化标签的分类网络，其中软化标签反映了图像相似性。不像原来的单一标签，强制图像属于一个确切的类，我们将标签视为一个分布，即鼓励图像与几个相关的类相关联。对于每个训练数据，网络不仅被训练去预测真实类，而且有动机去预测类似类。学习到的嵌入算法与相似图像的嵌入距离较远，与不相关图像的嵌入距离较远。一方面，不使用硬标号进行学习，可以消除硬量化误差;另一方面，软化标签的监管相对较弱，这也为算法提供了更多的空间。为了充分发挥模型的潜力，我们引入了一些辅助信息来帮助寻找相似图像。具体地，在测量图像之间的相似性时，研究了相机ID和行人图像的部分细节。为了解决摄像机方差问题，我们提出了跨摄像机鼓励项(cross-camera encourage term, CCE)来促进不同摄像机视角下图像的软化相似学习。通过这种方式，该模型将从更多不同的数据学习。 请注意，在捕获时，相机ID是自动获取的，并且不需要人类标签。此外，我们提取部分特征，并考虑部分细节和整体外观作为额外的线索。

贡献：首先，我们提出了一个基于软相似学习的无监督重id框架。采用重新分配软标签分布的分类网络对具有平滑约束的相似图像进行学习。通过推动每个人的图像更接近相似的图像，并推动所有其他的人的图像彼此远离，我们的框架学习了一个强大的、有区别的模型，具有很高的潜力。

图片1 首先，采用硬标签分布的基线网络进行初始化，如红色箭头所示。随后，对初始化后的网络，迭代执行三个步骤:1。提取训练图像的特征嵌入;2. 估计图像间的相似性，重新分配目标标签;3.网络用软化标签进行再训练。这些程序显示在蓝色箭头后面。值得注意的是，红色箭头的过程只执行一次，而蓝色箭头的过程是反复执行的。

1. 由于我们训练集图片是没有真实的标签的，所以我们最初通过为每个训练数据分配索引，作为数据的伪标签。在这种方式下，每张图片被划分为单独的一个类。
2. 我们采用非参数分类器的分类模型，其中查找表用于存储所有训练图像的特征。然后将每个图像的存储特征用作每个类的权值向量。
3. 在训练过程中，我们希望网络不仅能够将每一幅图像预测到ground truth类中，而且能够接受将训练图像预测到可靠的类中。因此，我们将一个非零值重新赋给目标标签中的可靠类。
4. 与基线网络相比，图像采用软标签分布(表示概率)而不是硬0,1标签。标签不再是真正身份的类，而是可能可靠类的概率。通过考虑可靠类，降低了地真类的置信度，提高了可靠类的置信度，从而指导网络平滑地学习身份图像之间的相似度。
5. 
6. 该目标公式不仅使查找表中各图像特征与地面真实特征之间的余弦距离最小，而且使各图像特征与其可靠图像之间的距离最小。同时，最大化每个图像特征与其他类特征之间的余弦距离
7. 通过软化分类网络，我们逐渐学习到一个接近可靠图像的特征。可靠类的学习是温和的，它试图避免当我们在可靠类中使用错误图像时的负面影响，另一方面，相对较弱的监督信号使模型更加自由，具有更高的潜力。通过这种方式，我们可以利用辅助信息来帮助学习更好的模型。在实验中，我们验证了在有辅助信息的情况下，软学习模型比硬学习模型表现得更好。
8. 对于每个训练样本，选取不同度最小的kimage作为可信样本。为了引入约束的额外先验，我们还考虑了其他资源来帮助估计相似性。1. 为了辅助全局特征之间的相似度测量，我们建议同时考虑部分特征(细节)之间的相似度。在[24]之后，我们提取CNN feature map，并将其划分为上横条纹。然后将每个分区特征平均合并为部分级特征嵌入。我们取对应部分的平均距离作为两幅图像之间的部分距离。2.交叉相机鼓励 我们提出了跨相机鼓励术语(CCE)，增加了相似性，以促进不同相机捕捉到的图像被视为可靠的图像。