车辆ReIDの深度学习

本文广泛探讨了应用于车辆ReID的深度学习技术。它概述了这些方法的分类，包括监督和无监督方法，深入研究这些类别中的现有研究，介绍数据集和评估标准，并阐明未来的挑战和潜在研究方向。文章全面的评估考察了深度学习在车辆ReID中的应用，并建立了未来工作的基础和起点。 

车辆重识别（ReID）旨在将来自分布式网络摄像机拍摄的不同交通环境中的车辆图像进行关联。这项任务在以车辆为中心的技术领域中占据着至关重要的地位，在部署智能交通系统（ITS）和推进智慧城市倡议方面发挥着关键作用。近年来，深度学习的快速发展显著推动了车辆ReID技术的演变。因此，对以深度学习为核心的车辆ReID方法进行全面调查已成为迫切且无法避免的需求。

本文广泛探讨了应用于车辆ReID的深度学习技术。它概述了这些方法的分类，包括监督和无监督方法，深入研究这些类别中的现有研究，介绍数据集和评估标准，并阐明未来的挑战和潜在研究方向。这篇全面的评估考察了深度学习在车辆ReID中的应用，并建立了未来工作的基础和起点。它旨在通过突出挑战和新兴趋势，促进利用深度学习模型在车辆ReID方面的进展和应用。

I Introduction

车辆是社交生活中最受欢迎和重要的部分。近年来与车辆相关技术的进步，如车辆检测、车辆类型识别、车辆跟踪、车辆检索等，已经促使智能交通系统（ITS）和智能城市的实现。在这个技术领域中，搜索特定车辆轨迹并探索其运动在加强智能城市框架中的公共安全方面具有重要意义。

如图1所示，这项努力涉及从车辆图像中提取全局和局部特征，并结合相关的辅助属性，包括颜色、类型、品牌和时空数据。这些提取的特征然后用于比较画廊图像，检索与 Query 图像相似的图像，缩小检索范围，并最终提高结果的质量。这个过程中关键元素是提取和比较从车辆图像中提取的特征，通常称为车辆ReID。车辆ReID旨在在由各种相机在不同的时刻捕获的车辆图像的广泛存储库中识别特定车辆。它在广泛的智能交通系统中尤为突出，并应用于各种视频监控场景，包括定位丢失的车辆、跨地区跟踪特定车辆等。

近年来，随着深度学习技术的快速发展和其在高性能自动目标检测方面的成功，车辆ReID已经引起了许多研究行人和工业界人士的关注。根据对几篇研究论文的调查，作者总结出了基于深度学习的车辆ReID方法的分类，如图2所示。

如图2所示，车辆ReID方法可以分为两个关键类别：监督方法和不监督方法。

在监督方法中，一些研究行人主要专注于从车辆图像中学习独特的视觉特征作为分类问题，而其他人则专注于通过损失函数进行深度度量学习。

为了学习视觉特征，通常，卷积神经网络（CNN）及其变体已经被广泛应用于从车辆图像中识别全局特征。此外，一些方法建议将不同层的特征图与CNN的最终输出相结合。这些方法只关注车辆的全局特征，而没有考虑其丰富的细节，因此不适合用于区分视觉上相似的车辆。为了解决这个问题，一些工作已经进行了局部和全局特征的集成。例如，车辆品牌或装饰从不同视角提供的局部特征可以反映额外的细节。这些方法主要强调从图像分区中学习局部特征，考虑区域之间的关系，或学习局部和全局特征之间的交互。最近， Transformer 的能力已经被应用于从车辆图像中学习全局和局部特征。除了车辆图像，一些方法已经利用知识为基础的信息，包括但不仅限于车辆属性（如车辆颜色、类型、品牌和时空特征，如车辆轨迹）。

深度度量学习旨在通过深度模型获得多维特征空间，以便具有相同类别标签的实例接近，而具有不同类别标签的实例远离彼此。用于度量深度学习的两种主要损失函数是对比损失和Triplet Loss。关于最近的研究，Triplet Loss在车辆ReID任务中优于对比损失。此外，这些损失函数的某些适应性版本已经专门针对与车辆ReID相关的限制进行了调整。

无监督方法试图在没有类别标签的数据中完全发现适当的信息，可以分为两个组：无监督域自适应和完全无监督。前者方法专注于应用一些修改过的对抗网络（GAN），如PTGAN，SPGAN，和CycleGAN，从源域生成具有相同类别标签的合成图像。这些图像以监督方式消耗以训练深度网络。后者主要旨在开发聚类算法和训练策略，从目标域数据中仅发现适当的信息，而不考虑其他辅助信息。与监督方法不同，这些方法从 未标注 的数据中推理车辆ReID，使其更适合并加强实际场景。

虽然最近的成就主要集中在提高车辆ReID模型的性能并解决其问题，但较少的研究关注对这些发展和改进的全面审查。据作者所知，没有对全面研究的彻底回顾，以概括和发现这个主题的所有方面，除了对监督方法的一些调查。因此，有必要回顾当前的最好状态，为这个主题的未来研究提供建议。

在这次回顾中，作者全面调查了使用深度学习方法的车辆ReID，介绍了这些方法的通用分类，包括监督和无监督方法，回顾了这些类别的现有研究，解释了知名数据集和评估标准，并描述了未来研究的挑战和可能的方向。这次回顾检查了基于深度学习的车辆ReID的现状。它为未来的工作提供了基础和起点，指出了相应的挑战和趋势。最终结果将对未来使用深度学习模型开发和应用车辆ReID有所帮助。

II Problem Formulation

III Supervised Vehicle Re-Identification

正如前面提到的，监督方法主要关注使用监督学习技术从车辆图像中学习有用的视觉特征，以实现车辆ReID问题的解决。这是通过两种不同的策略实现的：特征学习和度量学习。前者利用深度学习模型通过学习车辆图像中的稳健和有鉴别性的特征来处理车辆ReID问题。相比之下，后者专注于设计距离和损失函数，以便具有相同类别标签的实例接近，而具有不同类别标签的实例远离彼此。本节全面概述了这些策略。

Feature Learning

最近的研究主要集中在采用各种CNN来提取全局或局部特征，并将它们与聚合模块结合，通过特征学习来重识别车辆。根据聚合模块的机制，这些方法可以分为三类：

1. 学习全局特征

2. 结合全局和局部特征

3. 知识驱动方法

Iii-A1 Learning of Global Features

为了考虑问题的内在挑战并提高ReID模型的实际泛化能力，提出了一些扩展的想法。在[13]中，采用了一个卷积神经网络（CNN）和四部分从粗到细的排名损失函数，以同时考虑所有重要挑战并提取车辆的外观特征。第一步，使用分类损失函数将具有相同模型的车辆聚类在一起，并隔离具有不同模型的车辆。然后，引入了粗糙的排名损失，以提高不同模型车辆之间的鉴别性，同时保持同一模型内车辆之间的差异。同一模型内不同车辆之间的差异也由细粒度的排名损失进行表示。还利用了成对损失，将同一辆车的样本尽可能地靠近。最后，他们应用随机梯度下降方法优化CNN网络权重并训练视觉外观模型。尽管该模型已经形式化了车辆ReID的主要问题，但模型验证数据集不适用，一些挑战，包括不同视角、遮挡、日夜变化和不同天气条件，也没有得到评估。

除了车辆图像，一些工作尝试从不同视角提取车辆图像的空间-时间属性和关联，以提高车辆ReID模型的有效性。在[45]中，将车辆图像之间的关系表示为多个颗粒。还提出了两种方法，即广义成对方法和多颗粒列表排序，以提高车辆检索问题的效率。这些方法通过CNN提取全局特征实现。

[46]中的作者开发了一个集成的CNN基础框架，用于发现车辆图像的独特视觉表示。该框架有效地集成了四个不同的子网络，包括识别、属性识别、验证和三元组，以学习各种特征和样本之间的关系。前两个子网络提取单个实例的详细特征，而接下来的两个子网络则专注于样本之间的关系。更具体地说，验证和三元组分别限制了两个样本和三个样本之间的关系。最后，为了训练框架，他们提出了一种同时优化这些子网络四个目标函数的方法。

除了基于CNN的外观特征和辅助特征（如颜色、类型、品牌和纹理），一些研究行人专注于其他特定的特征，如车牌和时空信息，以使检索结果更准确并增强重排机制。在[47]中，作者提出了一种多级深度网络作为粗糙滤波器，用于获取车辆视觉外观特征。然后，他们通过添加诸如车辆纹理、颜色和类型的属性来扩展粗糙滤波器。接着，车牌识别被应用于使搜索更精确。Query 图像和库图像之间的时空关系被调整以修改检索图像的排名[48]。

最近，一些研究考虑了车辆图像的多分辨率性质，即不同相机可能捕获的图像。在[14]中，提出了一种两阶段的深度模型，用于从多分辨率图像中发现独特的视觉特征。在第一阶段，开发了一个多分枝网络，以获取不同尺度的特定属性。每个分枝都由类似的结构CNN网络组成，以产生其尺度特定的视觉特征。这些特征作为输入传递到集成网络，以产生最终的视觉外观模型。两阶段的输出之间的交互利用提高了模型的效率。除了多分辨率视图外，一些工作考虑了注意力机制和全局外观特征，以捕获更有信息量的关键点。这些工作可以归类为结合全局和局部特征。

然而，一些这些方法并没有将车辆图像划分为有意义的地方，并从车辆图像中仅获得一些全局关键点。作者将它们放在当前部分中讨论。例如，在[49]中，提出了一种两分支深度模型，以提取全局和局部特征。在第一分支中，通过多级基于CNN的网络提取全局外观模型。还受到[50]和[51]的工作启发，建立了一个完全两阶段的CNN基于注意力方法，以提取关键点。这些特征被连接并后处理，以提取最终的视觉特征。他们的评估结果证实了注意力机制在克服车辆ReID问题方面的有效性。

总之，尽管已经提出了许多有价值的工作，但全局特征学习只考虑了车辆的整体视图，忽略了对于车辆ReID至关重要的区分性局部特征；因此，这些车辆ReID模型无法实现可接受的性能。因此，仅学习全局特征对于车辆ReID是不够的，还需要考虑局部特征以反映车辆的细节。

Ii-B2 Combining Global and Local Features

车辆之间的颜色、品牌、类型和型号等属性是普遍存在的，因此仅基于全局视觉特征进行车辆ReID似乎是不可能的，而车辆风挡玻璃上的装饰和检查贴纸等局部区域可能更有效。

此外，由于相机角度变化、不同天气和光线条件以及车辆之间的相似