Embedding Adversarial Learning for Vehicle Re-Identification

摘要：

现实世界中不同车辆的高度相似性和获取视图的极大差异性给车辆再识别(ReID)带来了巨大的挑战。传统的ReID技术将车辆图像映射到一个高维的嵌入空间中，距离优化，车辆区别和识别。为了提高ReID算法的识别能力和鲁棒性，我们提出了一种新的端到端嵌入对抗学习网络(EALN)，该网络能够生成嵌入空间内的局部样本。我们的嵌入对抗性学习方案是在指定的嵌入空间内自动生成的难负样本，而不是从训练集中选择大量的难负样本，这是非常困难的，甚至是不可能的，可以大大提高网络对相似载体的识别能力。此外，更具有挑战性的跨视图车辆ReID问题，要求ReID算法对不同的查询视图具有鲁棒性，也可以从这种基于人工生成的跨视图样本的方案中获益。通过大量的实验，我们证明了EALN的前景，并通过与最新方案的比较，证明了难负样本和交叉视图生成在促进vehicle ReID中的有效性。

1 简介

图1 说明车辆reid的两个关键挑战。(a)不同车辆ID高度相似;(b)同一车辆ID内视点变化。最上面的两行显示的是相同/相似车型的不同车辆id，它们的细微差别用红色框突出显示。下面两行展示了从不同视角捕获的具有相同ID的车辆图像

我们工作的三个主要贡献可以总结如下:

• 通过在生成器和鉴别器之间引入嵌入的对抗性学习，提出了一种新的生成方案，称为EALN。此外，EALN中的嵌入判别器作为ReID中特征提取的表示网络，可以实现图像生成与特征表示之间的端到端优化。
• 我们在提出的EALN的基础上开发了一种新的在线难负样本生成方法，该方法能够连续生成难负样本以适应现有的嵌入鉴别器，使嵌入鉴别器更具鉴别性。
• 我们进一步扩展了EALN来改进车辆的跨视图图像生成，旨在解决车辆ReID中视点不一致的问题。将给定的视点转换为多个视点，利用综合的跨视点图像进一步提高我们的ReID方案的性能。

3 基于车辆REID的嵌入对抗性学习

图2.车辆ReID的建议EALN图示。EALN包括嵌入对抗方案和真假对抗方案。在这两种方案的基础上，我们设计了不同的距离约束来实现难负对抗性学习和跨视图对抗性学习。在hard - negative对抗性方案中，Ghard试图生成一个与每个输入样本特征距离较近的样本，而Dhard试图对它们进行区分。在cross-view对抗性方案中，Gview试图以尽可能接近的特征距离为每个输入图像生成一个cross-view样本。以上两种方案采用Drf来判断生成的样本是真/假还是前/后。我们利用Gview和Ghard生成的样本，以及训练集来训练一个更具识别力的嵌入模型Demb。在训练阶段，对生成器和鉴别器进行交替优化。在测试阶段，嵌入鉴别器Demb作为特征提取器。另外，对于每个输入图像，使用生成的跨视图图像来实现融合特征表示。

图3所示。说明生成器和鉴别器之间的嵌入对抗学习。生成器G的目标是在嵌入空间中生成接近给定样本的样本，而鉴别器Demb则试图将生成的样本推远。

表Ⅰ.使用先进的方法对VEHICLEID和VERI-776数据集进行性能比较(%)

图4所示。验证-776和车辆数据的不同方法的CMC比较。

图5所示。车辆ID数据集的硬阴性生成可视化。所述输入样本包含前视图和后视图，并提供相应的硬底片。我们裁剪和放大与输入相比有细微差别的区域。符号d_f ront和d_rear是Demb中输入与生成的前后视图硬负极之间的特征距离。特别地，d_real表示输入与其真实正实例的平均距离。通过d_f ront，d_rear和d_real之间的距离比较（d_rear和d_f ront >> d_real），我们可以发现，尽管硬底片生成器能够生成非常硬的底片，但Demb仍然可以在嵌入空间中对其进行区分 。

表Ⅱ.车辆小尺寸（测试= 800）测试集中的同视图和跨视图的reid性能（MAP）

表Ⅲ.VERI-776数据集上具有跨视图方案的REID性能（MAP）

图6所示。不同方法生成的跨视图的比较。从左到右：输入和来自我们的EALN，CycleGAN和StarGAN方法的样本。 每个输入都包含一个前（上）视图和后（下）视图车辆，并给出了它们相应的交叉视图结果。 这样，可以将生成的结果与真实的交叉视图输入进行比较。

输入和生成的交叉视图如图6所示，从图中我们可以发现，从front-to-rear生成比从rear-to - front生成效果更好。前视图比后视图有更多复杂的细节。如图6所示，我们的方法在以更少的伪像生成更多逼真的细节方面展示了一个优势。

图7.每10个epoch生成的硬阴性样本的图示。

图8.用不同方法输入和生成的样本的响应图。每次比较由原始输入(上)和Ghard(下)从VehicleID数据集生成的硬阴性车辆组成。这两列响应映射(从左到右)分别表示Hard-EALN和EN。

有趣的是，我们的Hard-EALN可以比EN更好地关注特征细节。例如，在图8 (a)中，我们的Hard-EALN的响应更加集中，可以在前照灯，雾灯，车辆标志以及挡风玻璃上看到。

图9.vehicleID测试集上的距离分布。直方图分别表示平均距离分布在正、负、以及我们生成的Gneg和Gview中所占的比例。

图9是为了证明生成硬负极的有效性，我们可以发现，我们所生成的Gneg(X)的平均距离比测试集中的负样本要小得多，并且与正样本有较大的分布重叠。这也意味着这些生成的硬负极比训练集中现有的负极更难让鉴别器与正极进行区分。这种分布可以明显地说明我们所提出的硬负对手方案的有效性。此外，我们生成的跨视图样本分布非常相似，接近正数，这进一步证明了我们的嵌入对抗性学习是相当有效和灵活的。

图10.通过改变VeRI数据集上的β1和β2来改变性能。根据dpos和dneg的真实分布，我们报告了在上述约束dpos <β1<dneg-β2的情况下β1和β2合理值选择的性能。

图11所示。EN和Hard-EALN在训练阶段的损失曲线。

我们的方法在提升Vehicle ReID性能方面表现相当不错，但是仍然有一些限制要解决：

• 我们的EALN着重于使用生成方案来提高嵌入模型的识别能力。但是，与简单地训练一个嵌入模型相比，我们的EALN涉及到生成器和嵌入鉴别器之间的交替的训练策略，这在优化阶段消耗了更多的时间。（耗时）
• 在训练硬性否定生成器Ghard时，我们对真实的负性样本进行随机采样以计算Eq（4）中的约束。事实上，我们的动机是在嵌入空间中生成一个接近于正的负样本，因此对真实负样本进行采样也至关重要。选择方案可以更加灵活，如使用引导策略或属性选择来进一步提升生成效果。这将在今后的工作中加以探讨。（采样方案不灵活）
• 硬否定方案只在训练阶段实施，而跨视图方案在测试阶段实施。额外的跨视图生成会增加模型存储和计算成本。 我们未来的工作还将在训练阶段探索不同视图之间的特征对抗方案，以改善跨视图特征表示，并避免在测试阶段引入额外的计算。

总结

我们提出了一种用于车辆ReID的新颖的嵌入对抗学习网络，设计的原理是生成位于嵌入空间中指定邻近区域的样本。这样一个统一的端到端解决方案为vehicle ReID在硬负性和跨视图样本生成方面的后续改进奠定了基础。为了进一步证明所提方案的有效性，给出了广泛的定性和定量结果，表明可以实现显著的ReID精度提高。
在未来的工作中，还有几个未解决的问题需要解决。 尤其是，仍然存在很大的空间来改善交叉视图车辆检索的性能，并且即使对于人类来说，要推断出具有特定视图的交叉视图样本的细节也是非常困难的任务，特别是对于人工放置的情况 装饰的标志或标记。在实际应用中，利用三维信息对车辆进行建模是一个有价值的方向，可以进一步利用这些三维信息生成车辆的跨视图。此外，所提出的EALN可以在许多方面进行扩展，以方便其他任务(例如，细粒度图像生成、图像增强)，这值得我们在未来的工作中进行研究。