AAAI 2023 | 用于城市交通流量预测的空间传播延迟感知的动态长距离自注意力模型...

©PaperWeekly 原创 · 作者 | 姜佳伟等

单位 | 北京航空航天大学

研究方向 | 时空数据挖掘

论文标题：

PDFormer: Propagation Delay-aware Dynamic Long-range Transformer for Traffic Flow Prediction

论文链接：

https://arxiv.org/abs/2301.07945

代码链接：

https://github.com/BUAABIGSCity/PDFormer

论文作者：

姜佳伟（共一），韩程凯（共一），赵鑫教授，王静远教授

通讯作者：

王静远教授

作者单位：

北京航空航天大学，中国人民大学

课题组：

北航智慧城市课题组 BIGSCity（https://www.bigscity.com/）

作为智能交通系统的一项核心技术，交通流预测有着广泛的应用。交通流量预测的基本挑战是如何有效地模拟交通数据中复杂的空间-时间依赖关系。空间-时间图谱神经网络（GNN）模型已经成为解决这一问题的最有希望的方法之一。

然而，基于 GNN 的模型在交通预测方面有三个主要的局限性：i）大多数方法以静态的方式建立空间依赖性模型，这限制了学习动态城市交通模式的能力；ii）大多数方法只考虑短距离的空间信息，无法捕捉长距离的空间依赖性；iii）这些方法忽略了交通系统中，交通状况在不同地点之间的传播有时间延迟的事实。

为此，我们提出了一种新型的传播延迟感知的动态长距离时空自注意力模型，即 PDFormer，用于准确的交通流预测。具体来说，我们设计了一个空间自我注意模块来捕捉动态的空间依赖关系。然后，引入两个图形遮蔽矩阵，从短距离和长距离的角度突出空间依赖性。此外，还提出了一个交通延迟感知的特征转换模块，使 PDFormer 有能力明确地模拟空间信息传播的时间延迟。

在六个真实世界的公共交通数据集上的广泛实验结果表明，我们的方法不仅可以达到最先进的性能，而且还表现出有竞争力的计算效率。此外，我们将学习到的空间-时间注意力地图可视化，使我们的模型具有高度的可解释性。

背景和贡献

城市是社会分工和生产力发展的结果，是人类文明的重要组成部分。据联合国的统计，全世界有 55% 的人口生活在城市。城市的安全运行对于人类发展至关重要。世界各国的大型城市普遍被人口过载、交通拥堵、安全事故、环境污染等“城市病”所困扰。在波及全球的新冠肺炎疫情中，甚至有 92% 的感染发生在城市。这些问题给人民生命财产和国民经济带来巨大损失，也反映出现有的城市运行管理存在着重大问题。

物联网传感器、GPS 终端、智能手机所收集的城市时空大数据为破解城市管理所面临的挑战问题提供了全新的思路。利用这些数据知识，结合人工智能技术（数据挖掘、机器学习等），可以实现城市业务升级。

城市时空预测是人工智能与智慧城市结合的“主战场”，相对于传统的统计学模型，基于深度学习的城市时空动态预测具有较高的准确性，是现在城市数据挖掘领域的主流方法。常见的城市数据预测任务包括交通路况预测、人口密度预测、乘车服务需求预测、空气质量预测等等。

城市时空预测的基本挑战是有效地建模时空数据中复杂的时空相关性。时空图神经网络模型已成为解决这一问题的最有前途的方法之一。然而，基于GNN的模型在城市时空预测方面有三个主要限制：

1. 大多数现有方法以静态方式对空间相关性进行建模，这限制了其学习城市动态时空模式的能力。时空数据中各空间位置之间的空间相关性是随时间变化的，而不是静态的，因为它们受到城市中的旅行模式和意外事件的影响。例如，两个空间节点 A 和 B 之间的相关性在早高峰期间变得更强，在其他时段则更弱。

而现有的方法主要是以静态的方式建模空间相关性的模型（无论是预定义的还是自适应的），这限制了学习动态城市时空模式的能力。

2. 大多数现有方法只考虑短距离的空间信息，无法捕捉长距离的空间相关性。由于城市的功能划分，两个遥远的地点 A 和 C，可能反映出类似的时空模式，这意味着地点之间的空间依赖关系是长距离的。

现有的方法往往是局部设计的，无法捕捉长距离的依赖关系。例如，基于 GNN 的模型存在过度平滑的问题，使其难以捕捉到长距离的空间依赖关系。

3. 在时空系统中，不同位置之间的空间信息传播可能会出现时间延迟的影响。例如，当一个地点发生交通事故时，需