基于稀疏数据的车辆轨迹还原-论文研读

本期主题为：基于稀疏的交通相机抓拍数据还原车辆的路网级轨迹数据。大规模的车辆运动轨迹对理解城市的机动性有着重要的作用，它对智能交通系统中的许多应用都有帮助，如路线规划、交通状况预测、视频监控、交通信号控制等。作者从应用需求、GPS数据存在的问题、基础设施完备性三方面引出，利用交通摄像头获取的视频数据来恢复车辆的运动轨迹的必要性和可行性。

Spatio-Temporal Vehicle Trajectory Recovery on Road Network Based on Traffic Camera Video Data

1 背景和问题

大规模的车辆运动轨迹对理解城市的机动性有着重要的作用，它对智能交通系统中的许多应用都有帮助，如路线规划、交通状况预测、视频监控、交通信号控制等。GPS设备的发展为随时随地记录车辆轨迹提供了机会。然而，由于设备的限制，轨迹数据的质量具有不确定性。同时，由于业务和用户隐私保护，很难共享来自不同供应商的数据，因此轨迹通常偏向于少量车辆。现有的研究都是基于低采样GPS数据的轨迹恢复问题，不能很好地解决上述问题。因此，设计一种有效的基于无偏数据的路网车辆轨迹恢复方法成为研究的热点。 另外，随着在道路交叉口部署摄像头的普及，使得获取所有车辆的轨迹数据成为可能。具体而言，交通摄像头以视频或图像的形式记录所有在不同时间通过交叉口的车辆。通过利用城市范围内摄像机网络的大规模视频或图像数据，可以恢复出完整的车辆轨迹。 作者从应用需求、GPS数据存在问题、基础设施完备性三方面引出，利用交通摄像头获取的视频数据来恢复车辆的运动轨迹的必要性和可行性。但是解决该问题还面临两个挑战： 1）抓拍的图像质量不均衡。影响交通摄像头采集图像数据质量的因素有很多。例如，照明不良或低分辨率都会使车辆的视觉外观不清晰。相反，良好的照明或高分辨率可以抓拍到清晰的车辆视觉外观。这导致同一车辆的图像质量不均衡，进而影响车辆重识别的效果。 2）交通摄像头比较稀疏。一方面由于较高的经济成本，许多道路交叉口可能没有安装摄像头。因此，对于同一车辆的两个连续抓拍，它们之间更可能存在多种路径可达。另一方面由于摄像头可能漏拍车辆。这些都会导致了摄像头抓拍的稀疏性。

2 方法介绍

作者通过交通相机抓拍数据、历史的车辆GPS轨迹数据、路网数据等三种数据恢复出路口级的车辆轨迹。 论文的方法框架由预处理模块、车辆重识别模块和轨迹恢复模块三部分组成，如下图所示。

• 【预处理模块】

使用ResNet50对相机抓拍数据提取视觉特征（外观特征和车牌特征）。 使用地图匹配算法将路网数据和历史轨迹数据进行匹配。

• 【车辆重识别模块】

论文使用两个经过预训练和微调的ResNet-50模型分别从图像中提取256维的车辆外观特征和256维的车牌特征。但是，在实际的数据中，由于图像质量低、其他车辆的阻碍或视角的影响，车牌特征并不总是可用的。所以设计多模态相似度聚类算法，输入外观特征、车牌特征和动态embedding特征，动态embedding特征通过整个迭代框架进行更新。对于两条记录和的相似度由两者特征的加权cosine相似度计算得出，公式如下所示：

权重是超参数，一般车牌特征的权重是大于外观特征的权重。因为不同的车辆可能存在相同的外观特征，但是同一辆车外观特征可能因为角度和光照的原因反而差别很大。

聚类算法分为2步，如上图所示。第一步，利用外观特征和车牌特征搜索每个车辆记录的TopK的车辆记录形成KNN集合。第二步，遍历每条车辆记录，包含每条记录对应的KNN集合的类别作为该条记录的候选聚类类别，与之计算多模态性相似度确定是否加入现有类别中还是新建一个类别。

• 【时空车辆轨迹恢复模块】

在现实的交通系统中，并不是所有的十字路口都安装了交通摄像头，也不是每次车辆经过摄像头时都能被捕捉到。因此，仅使用车辆抓拍记录并不足以完全确定其轨迹。所以作者设计了时空车辆轨迹恢复模块来恢复连续记录之间最可能的轨迹。

给定起始点，起始时间，结束点和结束时间，使用表示两个点之间的轨迹，其中表示路段，。由于轨迹的选择跟给定时间的弱依赖性，轨迹的后验概率可以被分解为两部分：

对于第一部分，驾驶员从到选择的路线表示这条路线的普遍性。作者将该部分分解为起始路段的概率和后续路段的转移概率。通过Dirichlet先验和历史GPS车辆轨迹拟合这个概率模型得到概率统计值。 第二部分，表示这条轨迹的行驶时间，表明实际的行驶时间跟预期行驶时间的一致性。 将时间按照小时分成24个区间，计算每个路段每个时间区间的平均速度，并使用矩阵分解算法解决数据稀疏问题。 为了得到最佳的路线组合，作者使用贪婪搜索算法，得到一个最佳的候选集合。

• 【车辆重识别与轨迹恢复协同优化】

轨迹恢复模块将聚类结果作为输入，用于恢复最大后验轨迹。一方面，恢复轨迹的精度会受到聚类准确度的限制。错误聚类结果（噪声）越少，恢复的轨迹就越接近镇上的车辆轨迹。另一方面，恢复轨迹的不合理性也可以作为潜在噪声和聚类裂档的判断线索。所以作者设计了可迭代的优化流程，可以实现车辆重识别与轨迹恢复的协同优化，如下图所示。

1）去噪

如果聚类结果中存在噪声，则恢复轨迹的概率分数会比较低。例如轨迹在很多的时间内通过两个距离比较远的路口，或者有反方向驾驶等异常行为，在概率模型中会得到一个比较低的转移概率值或比较低的速度概率。所以找到一个最佳的子集使得轨迹的可行性分数最高，以便将剩余的部分检测为噪声。将轨迹分为m份子轨迹，可行性得分就是每个子轨迹的补偿几何平均值：

最优子集之外的抓拍记录被识别为噪声，动态embedding特征将在下一次迭代中更新：

2）召回补充

该骤尝试将错误地聚集到其他类别中的抓拍记录添加到正确的类别中，实际中有两种主要的缺失情况，作者分别设计了两种召回补充方法进行应对。 第一种情况是点丢失，恢复的车辆轨迹一个相机，但该相机的没有相应的抓拍记录。假设表示相机未抓拍到车辆。假设表示该相机抓拍到该车辆，但不在该车辆的聚类类别中。不管怎样，都要在去噪步骤中被标记为其他类别噪声中搜索，找到该类别中心具有最高的视觉和车牌相似度的抓拍记录。将该轨迹中的上一条记录和下一条记录表示为和，表示相机的捕获率，召回策略如下：

如果被接受，则记录将在下一次迭代中添加到该类别中，其动态embedding也会更新为该类别的均值𝒇𝑑：

第二种情况是批量丢失，同一车辆的抓拍记录以批的形式分散成若干个聚类类别。数量较多的类别很可能是包含一个最优子集，所以可能不被检测为噪声。为了召回这些抓拍记录，对于每个聚类类别，按照多模态相似度较高的聚类进行遍历测试，确定两个聚类是否合并得到一个得分较高的最优子集。如果找到这样一个最优子集，则将其进行合并，并且它们的动态embedding将被更新，更新方式同上。

3 实验和结果

作者进行了大量的实验，并通过实验回答了以下问题：

RQ1：本文模型其他基线方法相比性能如何？

RQ2：不同的模块对模型性能的影响？

RQ3：参数设置对模型性能的影响？

RQ4：迭代方法如何在实际场景中发挥作用？

RQ5：模型在交通系统的实际应用中如何使用？

• 模型评价

对于轨迹恢复的评估，使用最长公共子序列（LCSS）、实序列编辑距离（EDR）和时空线性组合距离（STLC）等公共度量。 由于恢复轨迹受聚类影响较大，作者还对聚类结果的精度、召回率、F1评分和扩展性进行了评价：

1）总体性能

在全量数据集D4M和采样数据集D1M上，论文方法在车辆重新识别任务和轨迹恢复任务中的性能都优于所有基线。 由于D4M引入了大量的车辆及其记录，车辆重新识别任务变得更具挑战性。在所有方法中都可以看到性能的明显下降。然而，与D1M相比，该方法在性能上取得了更大的提升，这表明该方法对噪声具有更强的鲁棒性，能够更好地处理大规模数据集，更适合于实际应用。

2）消融实验

在

表5展示的是不同模块的组合方式，表3和表4展示了对于不同组合方式对应的聚类性能和轨迹恢复性能。

• 对比CSP和CDSP，我们可以看出去噪模块有效去除了噪声记录，聚类精度提高了4.1%，F1评分提高了2.0%。轨迹恢复结果也得到了改善。 • 与CSP相比，CRSP具有更高的召回率和F1评分。召回率提高了3.0%，F1评分提高了1.3%。但其精度稍低。因为合并簇的行为可能会引入一些噪声，这些噪声不仅在视觉上相似，而且具有较高的时空相似性。 • 在CSP、CDSP、CRSP和CMSP对比中，CMSP的召回率和F1得分最高。它结合了去噪和召回补充的性能，在下一次去噪迭代中去除了召回步骤中引入的噪声。并通过相机缺失抓拍的概率建模，CFSP进一步提升了效果。 • 在轨迹恢复结果中，FULL组合方式实现了上述所有设置的最佳性能。与CFSP相比，最大似然轨迹能够更好地反映现实驾驶行为和驾驶员的道路选择偏好，因此将时空信息引入到轨迹恢复中大大提高了结果的准确性。

3）参数分析

影响总体性能的主要参数有两个，一是是车辆再识别模块中的多模态相似度阈值，它决定了聚类算法如何在准确率和召回率之间进行权衡。二是迭代次数，它决定了从恢复的轨迹中提取时空反馈的次数，并相应地更新动态embedding。

• 相似性阈值。将迭代次数固定为3，聚类相似度阈值范围设置为[0.6, 0.95]。结果如上图所示。精度和扩展度随相似度阈值单调增加，召回率单调降低，F1成绩先上升后下降。因此，适度的相似度阈值有助于在准确率和召回率之间实现适当的权衡，以获得更好的F1成绩。

• 迭代次数。将相似度阈值固定为0.8，并将迭代次数从0~7遍历。从上图可以看出，在前5次迭代中，除了第4次迭代中的精度和第5次迭代中的召回率略有下降外，精度、F1得分和召回率总体都在不断增加。扩展曲线的趋势也表明前几次迭代是有益的。这证明了所提出的反馈模块和迭代框架的有效性。当F1成绩上升时，准确率或召回率会出现轻微下降的原因是噪声检测和缺失补码步骤都会出错。一般来说，噪声检测步骤以召回率为代价提高精确率，而缺失补码步骤以准确率率为代价提高召回率，而两者都会提高F1分数。例如，在第4次迭代过程中，召回率大幅上升，因此精度略有下降。另一个观察结果是，当迭代次数过大时，所有度量都会变差，这是因为存在一些复杂的难例，无法检测到相应的噪声或丢失的记录。

4）案例分析

为了展示迭代框架的有效性，作者分析了具有真值的车辆聚类结果和相应的恢复轨迹。如上图所示，完全基于视觉特征的初始聚类结果存在一些噪声和缺失记录。但在3次迭代中，反馈模块检测噪声并根据恢复轨迹中包含的时空约束对缺失记录进行补全，去除3个噪声并补全5个缺失记录。

5）实际部署

该系统已经部署在中国某个城市的区域，共处理673个摄像头的车辆记录，覆盖面积为76。该系统输出轨迹已被下游应用程序使用，包括分析车辆轨迹和调整交通灯相位的智能交通灯控制系统。其中直接效果是平均车速提高了20%，行驶时间缩短了15.3%。

上图中展示了其中一个恢复的轨迹和相应的捕获图像。这10张抓拍图像都是从数百万条记录中检索得到的。通过比较地面真实值（红色虚线）和恢复的轨迹（黑色实线）可以看出，即使有距离很远的抓拍记录，车辆的大部分轨迹可以被正确恢复。

4 结论和展望

论文作者设计了一种基于广泛部署的交通相机数据的车辆轨迹恢复系统。该系统的核心是一个迭代框架，用于联合优化车辆重识别和轨迹恢复任务。车辆重识别任务基于车辆视觉特征和动态时空约束特征，在交叉口层面提供基本轨迹点进行轨迹恢复。轨迹恢复任务采用概率方法建模时空相关性和车辆脱靶问题进行轨迹恢复，为车辆重识别任务提供时空信息。

这篇论文的方法本身并不复杂，更多是利用现有的方法再加上自己的策略进行车辆轨迹还原。重点在于论文的方法已经在商汤公司实际的业务中落地，能够提供准确的车辆再识别和交叉口级车辆轨迹恢复结果，有利于交通信号控制和拥堵分析等重要应用。 比较符合交通领域特点，即成熟的算法配合特定策略更容易在实际场景中取得较好的效果。

更多内容，敬请关注同名微信公众号：时空大数据兴趣小组。