Self-training with progressive augmentation for unsupervised person re-ID（PAST）

原文链接

摘要

摘要针对提出的问题是：在行人重识别领域中，要从有标记的源数据集上得出能适配无标签的目标数据集上的模型，存在一定困难。
在本人中，提出了使用progressive augmentation渐进增强框架（PAST）的self-training方法来提高目标数据集上的模型表现。PASH包含两个步骤：conservative stage（保留步骤）和promoting stage（增进步骤）；其中保留步骤使用triplet-based loss函数获取目标域数据点的局部结构；促进步骤通过在模型最后一层增加一个可变的分类层来优化网络，使用数据分布的全局信息。PAST中保留步骤和增进步骤交替进行。同时为了提高triplet样本的可靠性，本文还在保留步骤中引入了ranking-based triplet loss，它不需要标签，而是基于数据点之间的相似性。

介绍

域转换问题（domain shift problem）问题在UDA中国转化成，怎样高效地将从源数据集得到的预训练模型应用到目标数据集中。以前的域转化方法使用伪标签估计，即使用预训练模型从无标签数据集中提取特征，然后使用非监督的聚类方法将数据分为不同的类；缺点是性能太依赖聚类质量了，本文的改进就在于提高标签的质量。PAST一方面在迭代早期抑制放大误差，另一方面在迭代到一定程度后加入更可靠的样本。

conservative stage：如图1所示，由于域转换，起初标记正确的百分比很低，在这种情况下需要选择可靠标签样本来减少标记噪音。本文考虑了图片间的相似分数，除了广泛使用的clustering-based triplet loss（CTL），还提出了label-free的ranking-based triplet loss（RTL）来更好地获取目标域中数据分布的特征。同时计算整个目标数据集的ranking score matrix，并从每个anchor的top ranked图片中选取正样本和负样本来生成triplets，然后将这个triplets放入模型中，使用提出的RTL训练。
promoting stage：由于在大数据集上训练triples的数目急剧增加，且triplets只关注局部信息，可能因此产生次优化结果，本文提出在promoting stage使用数据点的全局分布进行网络训练。加入了Softmax cross-entropy loss，用来让类间保持距离。

贡献

1） 提出了一个新的自训练方法PAST；
2） 提出了基于rank的三重损失RTL；
3） 利用了全局数据分布；
4） 在大范围的数据集上进行了实验。

PAST

如图2，我在这里简述一下PAST的基本流程：

1. 训练有标记的源数据集，得到预训练模型；
2. 在无标记的目标数据集上，使用1中得到的预训练模型提取特征；
3. 使用提取的特征Rerank得到一个rank分数矩阵；
4. 对3中的rank分数矩阵进行HDBSCAN聚类，得到更可靠的训练集（实际上是原来训练集的子集），对新得到的训练集使用小批量的三重采样，用基于聚类的损失函数优化结果；与此同时直接对rank分数矩阵进行基于rank的三重采样，用基于rank的三重损失函数优化结果；这一步是处理目标域的局部关系；
5. 交叉使用三重损失函数和提出的Softmax交叉熵损失函数训练网络，其中Softmax处理训练局的全局分布，用于优化预训练模型；更新网络。

使用方法的细节

conservative stage

三重损失被证明能够通过在目标域上生成可靠的triplets，来发现有潜在的数据分布局部特征，和监督学习不一样，伪标签用于无标记样本，构建高质量的triplets更困难，所以我们需要设计一种学习策略使得不仅生成可靠样本，还能同时提高模型性能。本文使用CTL和RTL获取局部特征关系。

promoting stage

由于基于三重巡视函数只关注每个triplet的数据关系，模型会不稳定并且陷入局部最小的次优化。因此本文提出使用分类损失，通过利用目标域上数据分布的全局信息来进一步提高模型的概括能力。在promoting stage中，在模型的最后引入了一个全连接层作为分类层，使用Softmax交叉熵损失函数最为目标函数。使用基于特征的权重初始化来分类，平均每个簇的特征作为初始参数。

算法1实现的是，在迭代次数内，提取特征，计算rank矩阵，更新来自目标域的训练集，再去更新模型，再提取特征，循环往复。

实验

图3体现了实验中的迭代过程，实际上就是conservative stage和promoting stage的交差训练。