车辆全程跟踪系统--Multi-Camera Vehicle Tracking System for AI City Challenge 2022

车辆多摄像头跟踪系统–Multi-Camera Vehicle Tracking System for AI City Challenge 2022

F. Li et al., “Multi-Camera Vehicle Tracking System for AI City Challenge 2022,” 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), New Orleans, LA, USA, 2022, pp. 3264-3272, doi: 10.1109/CVPRW56347.2022.00369.

一、Abstract

多目标多摄像头跟踪是智能交通系统的基本任务。AI City Challenge 2022针对的是城市规模的多摄像头车辆跟踪任务。在本文中，我们提出了一个由4部分组成的精确车辆跟踪系统，包括：

1. 用于车辆检测和特征提取的最先进的检测和重新识别模型；
2. 单相机跟踪，在逐个跟踪范式的基础上引入增强跟踪预测和多级关联方法；
3. 基于区域的单摄像机轨道合并策略；
4. 多相机时空匹配和聚类策略。

二、Introduction

城市规模的多摄像头车辆跟踪（MCVT）吸引了越来越多的研究人员。其主要目标是计算车辆在多个摄像头上的轨迹，按照一般方法，MCVT 可以分解为三个子任务，包括单摄像头跟踪 （SCT）、车辆重新识别 （Re-ID） 和多摄像头轨迹匹配 （MCTM）。作为初始条件，SCT可以对连续步骤的正确性产生重大影响。SCT中几个坏掉的轨道或ID变换，足以在多机位轨道匹配中引起巨大的混乱和连锁反应，形成召回和精度得分的无形瓶颈。我们可以通过一些实际场景来观察传统MCVT中遇到的挑战：

1. 大多数逐个检测跟踪的SCT算法都面临着检测噪声（如假阳性或假阴性结果）引起的不确定性，这反过来又会影响匹配过程，最终导致轨道不稳定或损坏。
2. 大多数逐检测跟踪 SCT 算法低估了长时间交通拥堵造成的损坏轨道。
3. 当车辆被另一个物体遮挡时，大多数逐检测跟踪SCT算法会提取不纯特征，使得边界框可能包含来自相邻对象的许多像素。
4. 在多摄像头轨道匹配中，无法区分许多外观相似的车辆，从而在摄像头之间发生ID切换。

ID switches：因为跟踪的每个对象都是有ID的，一个对象在整个跟踪过程中ID应该不变，但是由于跟踪算法不强大，总会出现一个对象的ID发生切换，这个指标就说明了ID切换的次数，指前一帧和后一帧中对于相同GT轨迹的预测轨迹ID发生切换，跟丢的情况不计算在ID切换中。

由于这些问题，我们设计了一个系统，该系统使用置信度评分和交叉联合 （Intersection Over Union，IOU） 比率标记和处理三种类型的检测结果，即低质量封闭、低质量非封闭和高质量非封闭车辆。其中，高质量无遮挡车辆在匹配时优先级最高，用于赛道初始化。另一方面，低质量的在匹配时优先级较低。此外，低质量被遮挡车辆的重新识别功能将被淘汰。通过对它们进行分类，可以更准确地执行车辆轨迹，从而实现高召回率，并且过滤后的 Re-ID 功能可以使以后的轨迹匹配过程更容易。

对于车辆的缺失部分，我们引入了卡尔曼滤波器以外的另外两种SOT算法，以便即使存在不确定性也可以合成稳定的车辆轨迹。然后，结果将在相机内部和跨相机进行多级匹配和聚类。对于严重遮挡或外观变化导致的轨迹中断，我们提出了一种基于区域的轨迹合并策略，将相机中的大多数轨迹片段拼凑在一起。

对于多相机匹配，我们提出了一种基于方向的时空策略，可以显着减少搜索空间，并提出了一种聚合策略来解决掉头等边缘情况。

• 多级检测处理程序、增强轨迹预测方法和多级关联来应对轨迹损坏和ID switches；
• 基于区域的单摄像头轨迹合并策略，既链接了轨迹碎片，又丰富了车辆特征，以提高召回率；
• 时空匹配和聚合策略，可以显着减少搜索空间并解决掉头等边缘情况。

三、Related Work

。。。。。。

四、Method

论文所提出的MCVT系统如图图所示，包括车辆检测、Re-ID特征、基于特征丢失的多级检测处理程序、单相机多级轨迹和合并策略、多相机时空匹配和聚合策略。

1、车辆检测

车辆检测是MTMC跟踪的第一步，也是必不可少的步骤。与大多数MTMC跟踪方法一样，我们遵循按检测跟踪范式，例如使用最先进的网络YOLOv5，更具体地说是YOLOv5x6模型，该模型在COCO数据集上预先训练以检测车辆。我们通过设置classes 参数将检测类调整为仅汽车、卡车和公共汽车。agnostic参数用于在推理阶段对所有检测到的车辆执行非最大抑制 （NMS）。

2、车辆重识别

在现有的Re-ID工作之后，我们使用ResNet50-IBN-a，ResNet101-IBN-a和ResNeXt101-IBN-a模型，这些模型在CityFlow数据集上进行了预训练，以提取车辆的特征，而无需引入外部数据。每个Re-ID模型输出一个2048维的特征向量，每个检测到的汽车的最终特征是三个模型的平均输出。

3、单摄像头车辆跟踪

对于单摄像头车辆跟踪器，我们遵Simple Online and Realtime Tracking（SORT）的一般框架。为了解决SORT的局限性，我们建议进一步改进跟踪方法。首先，依靠卡尔曼滤波的预测，当运动方向发生变化时，通常会产生ID切换。因此，我们利用了另外两个SOT，即高效卷积算子（ECO）和MedianFlow，并提出了一种增强的轨迹预测方法。接下来，受 DeepSort 的启发，我们加入了车辆外观特征，然后通过特征删除过滤器和多级匹配过程。最后，为了确保轨道的完整性，我们在单个摄像机中为轨道合并添加了另一个后期处理。

3.1、车辆轨迹预测

为了增强卡尔曼滤波器的局限性，我们首先包括**MedianFlow**，它使用车辆的当前位置来获取样本像素，然后根据光流预测下一帧的位置。MedianFlow 可以有效地定位被另一辆并行移动的车辆遮挡的车辆，从而变得更具遮挡弹性。其次，当车辆移动速度极快或急转弯时，它通常会经历戏剧性的外观变化。在这种情况下，MedianFlow 可能无法正常工作，因此我们可以使用 ECO 调整我们的预测。此后，在我们的多级关联方法中，每个车辆检测框将具有更好的匹配。

3.2、多级检测处理程序

对于我们的方法，车辆重新识别特征在单摄像头和多摄像头车辆跟踪中都起着重要作用。因此，必须从 Re-ID 模型中提取准确的特征，这些模型充当管道中其余流程的推动因素。我们提出了多级检测处理程序。我们以相对较低的置信水平（0.1）和相对较高的NMS-IOU阈值（0.45）开始检测过程。之后，我们从结果中选择两次，首先置信度值为 0.1，NMS-IOU 为 0.3，然后置信度值为 0.3，NMS-IOU 为 0.3。此时，我们可以将结果分为三个级别。

因此，应丢弃low-quality and blocked的特征，只留下盒子本身供轨道匹配过程获得高召回率，如下图中的特征丢失过滤器所示。另一方面，未被阻挡的车辆不仅会参与跟踪器匹配，还会将其功能添加到相应的轨道中。

3.3、多目标多级关联

为了确保预测的轨迹与检测结果充分匹配，我们的方法包括四轮关联，如上图所示：

1. 选择高质量且无遮挡的车辆，并与年龄为 1 的轨道相关联，生成以下矩阵：

   $$\begin{array}{c}M={\alpha }_1\ast A+{\beta }_1\ast B+{\gamma }_1\ast C\end{array}\text{\hspace{1em}(1)}$$

   其中 M 表示生成的成本矩阵，α 、β 、γ表示对应的权重，A表示特征余弦成本矩阵，B表示中流框与检测框之间IOU距离的成本矩阵，C表示ECO框与检测框之间IOU距离的成本矩阵。

2. 将不匹配的磁道和检测配对，生成以下矩阵：

   $$\begin{array}{c}W={\alpha }_2\ast P+{\beta }_2\ast B+{\gamma }_2\ast C\end{array}\text{\hspace{1em}(2)}$$

   其中 W 是新的成本矩阵，α 、β 、γ为对应的权重，P为卡尔曼滤波箱与检测箱之间IOU距离的成本矩阵。

3. 将仍然不匹配的检测与年龄大于 1 的轨迹相关联，得出：

   $$\begin{array}{c}F=A\end{array}\text{\hspace{1em}(3)}$$

   其中 A 表示特征余弦成本矩阵。此步骤的灵感来自 DeepSort，假设年龄较低的轨道在匹配时应具有更高的优先级。

4. 将剩余的低质量车辆（是否被遮挡）与年龄为 1 的轨道相匹配，矩阵计算与步骤 2 类似。此步骤旨在从低质量检测中保存轨道预测的框，以确保我们的轨道的完整性。

3.4、轨迹的生命周期

经过四轮关联，如果还有一些不匹配的高质量检测框，那么它们被认为是新的，新的轨道将被初始化，包括卡尔曼滤波模型、ECO轨迹和光流采样像素。对于匹配的检测和轨迹，磁道将相应更新。首先确定检测框的类型，如果车辆被遮挡，则仅更新卡尔曼滤波，否则如果ECO预测与匹配检测之间的IOU距离低于阈值，则使用匹配检测框重新初始化轨迹而不是更新，并相应地更新光流采样点和特征。对于与检测框不匹配的轨道，我们尝试通过使用 MedianFlow 或 ECO 的预测来挽救它们，同时使用这些预测更新卡尔曼滤波模型以补偿缺失的部分。

3.5、基于区域的轨道合并

尽管我们多次尝试捕获每个轨道的片段以确保其完整性，但在现实场景中，仍然有由交通信号灯等意外物体造成的分割片段。由于这些情况，我们提出了一种基于区域的轨道合并方法。

轨道选择我们将十字路口图像分为 9 个有效区域和 1 个交通区域，可以根据具体情况确定，如图 所示。这 9 个区域可以分为起始区域 （1， 3， 5）、中间区域 （10） 和结束区域 （2， 4， 6）。在合并之前，我们根据标准选择一些轨道：

• 正常开始并在同一区域或中间区域结束的轨道。

• 从中间区域或交通区域开始的轨道。

  

  这些轨道被认为是异常的，将成为合并的候选者。然后，它们将通过过滤器去除噪声，例如可以忽略不计的短噪声（小于或等于 4 帧）、静止噪声和小像素数噪声。这些候选者将在下一步中进行跟踪合并。

  轨道合并考虑到一个轨迹在一个相机中可能有多个片段，本文使用分层聚类处理异常的轨迹片段。假设有 n 个碎片轨道，首先计算每个轨道的平均特征，然后我们得到：成本矩阵H.

由于一个轨道不能与自身合并，我们将对角线值设置为 2，然后进行聚类以获得同一集群下的轨迹：

1. 按起始帧升序对轨道进行排序

2. 检查两个轨道是否与空间和时间一致：

   1. 如果后者的起始帧在前者的结束帧的范围内。
   2. 如果前者与后者的起始位置之间的距离大于前者起始位置与结束位置之间的距离。
   3. 如果后者的起始方向是前者指向的方向。
   4. 如果后者的结束位置在结束区域内，如果不是，则递归查找具有结束区域的位置，直到没有匹配。

   使用上述方法，可以在同一集群下选择和合并轨迹片段，从而为单相机跟踪生成更准确的轨迹结果。

3.6、多摄像头轨迹匹配

在多相机匹配中，我们的方法包括一个选择步骤（如图所示）、一个聚合步骤和一个聚类步骤。

轨迹匹配

多相机匹配中使用的余弦相似性矩阵与3.5节中使用的相似矩阵相似，只是现在它正在比较跨相机的轨迹。对于两个相邻相机上的 n 个轨迹，将具有来自所有帧的 2048 维平均特征的每个轨迹相互比较，以形成一个由余弦相似性填充的 n xn 矩阵 S 。相似性矩阵允许合并不同摄像机的多个轨道。但是，随着跟踪数量的增加，矩阵中的搜索空间通常会变得太大，从而导致许多不匹配，这可能会成为限制以后聚类质量的瓶颈。在这种情况下，按边缘情况过滤似乎还不够。因此，降低矩阵内的搜索空间是改善匹配结果的关键步骤。

轨道选择、轨迹聚类

与上一篇文章使用相同的方法：City-Scale Multi-Camera Vehicle Tracking Guided by Crossroad Zones

基于目标运动轨迹的方向以及交通运输通行规则进行轨迹过滤

City-Scale Multi-Camera Vehicle Tracking Guided by Crossroad Zones

区域间聚类和相机间聚类