antd 文本域超长问题_【论文分享沙龙 | 2020第161期】用于域适应目标重识别的混合存储器下的自步对比学习...

论文分享沙龙2020第16期

分享人：中国矿业大学硕士 侯浩鹏

研究方向：计算机视觉 | 行人搜索

论文标题：Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID (用于域适应目标重识别的混合存储器下的自步对比学习)

论文来源：NIPS 2020

论文下载：https://arxiv.org/abs/2006.02713

代码链接：https://github.com/yxgeee/SpCL

摘要：

现有的关于目标reid的UDA方法通常在两阶段训练方案之后解决这个问题：(1)在源域上进行有监督的预训练(2)在目标域上进行无监督的微调。对于第二阶段的无监督微调，在最先进的方法中发现了一种基于伪标签的策略是有效的，它通过聚类目标域实例在生成伪类和用生成的伪类训练网络之间交替进行。这样，源域预训练网络就可以适应于捕获目标域中带有噪声伪类标签的样本间关系。

虽然基于伪标签的方法已经导致了巨大的性能进步，但本文认为存在两个主要的限制，阻碍了它们的进一步改进。(1)在目标域微调过程中，由于方法设计的局限性，源域图像要么没有被考虑，要么甚至被认为对最终性能有害。准确的源域地面真相标签是有价值的，但在目标域训练中被忽略。(2)由于聚类过程可能导致单个异常值，为了确保生成的伪标签的可靠性，现有的方法简单地丢弃用于训练的异常值。然而，这些异常值实际上可能是目标域中困难但有价值的样本。简单地放弃它们可能会严重损害最终的表现。

为了克服这些问题，

• 本文提出了一种混合存储器来编码来自源域和目标域的所有可用信息，用于特征学习。对于源域数据，它们的地面真实类标签自然可以提供有价值的监督。对于目标域数据，可以进行聚类，以获得相对自信的聚类以及未聚类的异常值。来自混合存储器的所有源域类质心、目标域簇质心和目标域非聚类实例特征都可以为跨两个域的联合学习判别特征表示提供监督信号。

• 为了正确地度量聚类的可靠性，本文还提出了一种新的多尺度聚类可靠性准则，该准则只保留可靠的聚类，并将其他混淆的聚类分解回非聚类实例。

1. 方法

    为了解决目标ReID上无监督域自适应(UDA)的挑战，本文提出了一个自步对比学习框架(图2(A)，它由一个基于CNN的编码器fθ和一个新的混合存储器组成。该框架的关键创新在于与所有源域类级、目标域集群级和目标域非集群实例级监督共同训练编码器，这些监督在混合存储器中动态更新，以逐步提供更有信心的学习目标。为了避免噪声簇引起的训练误差放大，自定步学习策略以最可靠的簇初始化训练过程，并逐渐结合更多的非簇实例，形成新的可靠簇。

    如图1所示，本文的训练方案在两个步骤之间交替进行：(1)将目标域样本分组为集群和非集群实例，方法是将混合存储器中的目标域实例特征与自定进度策略进行聚类；(2)优化具有统一对比损失的编码器fθ，并动态更新具有编码特征的混合存储器。

图1：统一框架

1.1 统一对比损失：

        给定一个一般特征向量θ，和，本文的统一对比损失是：

(1-1)

其中表示对应于f的正类原型，根据经验将温度τ设置为0.05，表示两个特征向量之间的内积，以测量它们的相似性。是源域类的数量，是目标域群集的数量，是目标域非集群实例的数量。更具体地说，如果f是源域特征，则是f所属的源域类k的质心。如果f属于第k个目标域群集，则是第k个群集质心。如果f是目标域非群集离群值，则作为与f对应的离群值实例特征。

1.2 混合存储器：

        通过混合存储器，本文可获得源域类质心{，，}，目标域簇质心{，，}和目标域非聚类实例特征{，，}。因为聚类数目不一定，所以混合存储中保存了源域质心和目标域全部实例的特征向量。初始源域类质心{}可以作为每个类的平均特征向量，而初始目标域实例特征{}由θ直接编码。在此之后，用来自{}的每个簇的平均特征向量初始化目标域簇质心{}:

(1-2)

其中表示包含簇k中所有特征向量的簇集，||表示集合中的特征数。在每次迭代中，每个mini-batch中的编码特征向量将参与混合内存更新。对于源域类质心{}，质心是根据mini-batch中属于k类的编码特征的平均值来更新的:

(1-3)

        当混合内存缓存所有目标域特征{}时，使用mini-batch中的每个编码特征向量来更新其相应的实例条目

(1-4)

1.3 基于可靠集群的自步学习:

        在实践中，将实例合并到错误的集群中会弊大于利。因此，引入了一种自定进度的学习策略，在每个时代之前的重新聚类步骤中，只有最可靠的集群被保留，不可靠的集群被分解回未聚类的实例。本文使用簇独立性和簇紧密性来衡量一个簇的可靠程度。簇独立性：

(1-5)

表示所在cluster中的全部样本。表示聚类方法在松标准下所在cluster中的全部样本。簇紧密性：

(1-6)

表示所在cluster中的全部样本。表示聚类方法在紧标准下所在cluster中的全部样本。具体来说，本文保留了具有紧凑数据点的独立集群，其>α和>β，其他的被视为非集群离群实例。

2. 实验

本文方法与无监督行人重识别方法的对比实验证明了本文方法的有效性，并达到了当前最优结果：

排版编辑：侯浩鹏综合策划：何   欣