VR-PROUD: Vehicle Re-identification using PROgressive Unsupervised Deep architecture

摘要：

车辆再识别(Re-ID)是自动视觉监视系统的主要组成部分之一。它的目标是在一个通常有不重叠的视野的多摄像头网络自动识别/搜索车辆。大多数处理re-ID问题的方法都以监督的方式处理它，这种方式有一定的局限性，会带来泛化的挑战，例如，训练需要大量注释的数据，而且往往局限于数据的动态增长。无监督学习技术可以通过直接从未标记的输入数据中得出推断来解决这些问题，并已在person re-ID上下文中有效地使用。为此，本文提出了一种方法，该方法使用一个渐进的两步级联框架，从本质上将整个车辆re-ID问题转化为无监督的学习范式。它结合了用于特征提取的CNN架构和一种无监督的技术，以实现自节奏的渐进学习。它还将上下文信息整合到所提出的渐进框架中，显著提高了学习算法的收敛性。此外，该方法是通用的，并首次尝试以无监督的方式解决车辆重新识别问题。该算法的性能已经在两个大型公开的基准数据集VeRi和vehicle reid上进行了全面的分析，使用图像到图像和跨摄像机搜索策略进行车辆再识别，与目前使用标准评估指标的最先进的方法相比，取得了更好的性能。

1 简介

Vehicle re-Identification pipeline:
(a)在不重叠的摄像头视图输入的图像/视频中，描述车辆在自然场景中的检测结果;
(b)说明车辆重识别的概念，即使用鉴别特征表示图库图像中的车辆，然后使用相似性/特征学习程序将鉴别特征与探测图像进行匹配，即:对于探测/查询图像，我们使用相似/不相似学习来进行车辆匹配，以确定包含从不同光照下不同多视角相机捕获的单个车辆的多幅图像的图库中相同/相似车辆的集合。

下面，我们将重点介绍这项工作中提出的重要贡献:

• 通过提出一个渐进的两步级联框架，我们将车辆重识别问题建模为一个无监督的学习范式。首先利用CNN提取车辆特征，然后利用无监督聚类算法对相似车辆进行基于外观的聚类，通过强制执行一定的启发式约束，得到准确稳定的聚类。然后利用这些鲁棒性聚类(表示车辆)对另一个CNN进行微调，训练样本集不断增长直到收敛，逐步细化聚类，实现无监督的自进式学习。据我们所知，在车辆识别领域还没有采用这种级联形式。
• 我们在级联网络架构中加入了颜色信息，从而产生快速和可靠的簇(即车辆)选择，从而提高了快速收敛的精度。为此，我们训练一个彩色CNN来可靠地过滤聚类结果，以便在后续迭代中稳健地填充图像的训练池。
• 所提出的方法已经通过使用图像间和跨摄像机搜索策略，在几个大型的公共可用车辆re-ID基准VeRi [7]和VehicleID [14]数据集上进行了全面评估； 在rank-1准确性方面优于同类的最新监督算法（PROVID [14]，DRDL [15]）。

2. 相关工作

略

3.方法

图2所示。提出的车辆重新识别架构。输入已有的带标签数据集，训练一个深度CNN基网络作为渐进网络的初始化器，采用聚类和可靠的图像选择对基模型进行迭代微调。
它本质上是使用渐进的两步方法将整个车辆re-ID问题化为无监督的学习范式:在第一阶段，使用一个基本的深度预训练CNN模型作为后续步骤的初始化器，它最初用于提取图像特征。在第二阶段提取的特征用于无监督聚类算法，根据车辆外观对相似车辆进行分组。渐进模型训练的全部思想是用聚类ID序列号任意替换实际的标签，使原始标签的潜在空间表示成为可能。具体来说，当我们以无监督的方式逐步训练网络时，输入图像被不带标签的馈给基网络，基网络使用预先训练好的权值进行特征提取。将这些提取出来的特征进行聚类，并将各自的聚类id赋值为“伪”标签用于下一个后续迭代的聚集图像。通过强化启发式约束，进一步细化聚类结果，得到准确稳定的聚类。然后利用这些鲁棒集群(表示车辆)对另一个具有与基础CNN相同架构的CNN网络进行微调。该过程是迭代执行的，训练样本集在每次迭代中增长，聚类的鲁棒性越来越强，以实现无监督的自进式学习，直到收敛。接下来，我们将在以下专用小节中对所提方案的工作流程进行详细说明

3.1 基本模型训练

使用基础模型的整个想法是将学习到的信息(即，在现有的标记数据集上微调的特征或权重)转移到一个深层的无监督车辆re-ID方案，然后在新的(未标记/未看的)数据集上以渐进的方式进行训练。因此,假设标签数据集进行训练,基本模型训练的想法是利用这些现有的标签微调任何通用的深层特征提取器(例如,ResNet50[35])的最后一层模型被替换为一个完全连接层有SoftMax激活和神经元的数量等于车辆m。但是，在训练之前，使用标准技术（例如，旋转，翻转和移动等）对现有的标记数据集进行数据增强和预处理。采用学习率为0.001、动量为0.9的随机梯度下降优化器对分类交叉熵损失函数进行优化。使用这些设置，现在问题变成了分类问题，分类的类数等于M。使用众所周知的ImageNet数据集对模型进行预训练权值初始化，避免了从零开始的训练。在收敛之前进行微调以训练基础模型，然后再迭代地用于初始化目的(例如，提取用于聚类的图像特征)和初始化模型以在每次迭代中进行微调。

3.2 渐进模型训练

训练完基本模型后，就可以利用它来初始化和微调渐进式网络模块，包括特征提取，聚类和可靠选择，这些将在后续小节中进行介绍。

图3所示。训练时完全可靠的图像选择过程说明:(左)假设第一次训练迭代后，我们只有5张可靠的图像(绿色三角形)和3张不可靠的图像(错误分配)(红色菱形);(中)部分微调的情况，不可靠的图像(分配错误)样本有远离质心的趋势，相关的样本有靠近质心的趋势，即可靠图像数量增加，经过一定的微调后，错误图像数量减少。这个过程一直持续到收敛(右)，所有的图像都是相同的颜色被保留。本文描述了单个集群的整个过程。

图4所示。未标记数据作为输入的渐进步骤的完整工作。然后使用ResNet50提取特征，然后使用k-means聚类对特征进行聚类，使用color CNN选择可靠的图像。选择的可靠图像被分配“伪”标签对应其光泽IDs，然后迭代使用微调模型，直到收敛。

主要缺陷：1、采用k-means算法，但是得事先知道得聚为多少类，即事先知道我的目标数据集中有多少没有标签的车辆，这在无监督的场景下约束是很大的。

2、通过颜色辨别网络当做一种先验来细化聚类的结果，理论上是有问题的，因为相同颜色但是不同的车辆还是大量存在的。

3、基准数据集是必需的，它们在大小方面都是完整的，并且涵盖了所有必要的重新ID信息，例如多视点，时空，品牌/模型和颜色信息。 现有的主要数据集（例如，车辆ID和VeRi）部分包含此类信息，因此使用它们训练的模型可能不会直接适用于实际场景