PDFormer: Propagation Delay-Aware Dynamic Long-Range Transformer for Traffic Flow Prediction论文阅读笔记

PDFormer:传播时延感知的动态长程交通流预测变压器

问题：基于GNN(时空图神经网络)的交通预测模型存在三大局限性:
1)大多数方法以静态方式建模空间依赖性，这限制了学习动态城市交通模式的能力;
ii)大多数方法只考虑短期空间信息，无法捕获长期空间依赖关系;
iii)这些方法忽略了交通状况在不同地点之间的传播在交通系统中具有时间延迟的事实。
创新：
提出PDFormer模型，该模型通过设计了一个空间自注意模块来捕捉动态的空间依赖关系。然后，引入了两个图掩蔽矩阵来突出显示来自近景和远景视图的空间依赖性。此外，提出了交通延迟感知特征转换模块，使PDFormer具有显式建模空间信息传播时间延迟的能力。
交通预测面临的挑战：最根本的挑战是有效捕获和建模交通数据的复杂和动态的时空依赖关系。CNN(学习空间依赖性)->RNN（学习时间动态）->GNN（小队来说效果更好）
GNN面临的三大局限性：
1、交通系统中位置之间的空间依赖关系是高度动态的，而不是静态的，因为它们受到出行模式和意外事件的影响而随时间变化。
2、现有的方法主要以静态的方式(预定义的或自学习的)对空间依赖性进行建模，这限制了学习动态城市交通模式的能力。
3、由于城市的功能划分，两个距离较远的位置，可能反映出相似的交通模式，这意味着位置之间的空间依赖关系是远距离的。
4、交通系统中位置间的空间信息传播可能受到时间延迟的影响。
但是基于gnn的模型存在过度平滑的问题，难以捕捉到长期的空间依赖关系。典型的基于gnn模型的即时消息传递机制中，延迟一特征被忽略了。
PDFormer模型：设计了自关注模块来捕捉动态的空间依赖关系。该模块通过不同的图掩蔽方法，将局部地理邻域和全局语义邻域信息融合到自关注交互中，可以同时捕获交通数据中短、远程的空间依赖关系。在此基础上，我们进一步设计了延迟感知特征转换模块，将历史交通模式融入空间自关注，明确建模空间信息传播的时间延迟。最后，我们采用时间自关注模块来识别交通数据中的动态时间模式。
三个创新点详述：
本文提出了基于时空自注意机制的PDFormer模型，用于交通流的精确预测。该方法充分解决了交通数据的动态性、长期性和时滞性等复杂特性所带来的问题。我们设计了一个空间自注意模块，通过不同的图掩蔽方法对局部地理邻域和全局语义邻域进行建模，并进一步设计了一个交通延迟感知特征转换模块，可以显式地对空间信息传播中的时间延迟进行建模。我们在六个真实世界的公共数据集上进行了多步和单步交通流预测实验。结果表明，我们的模型明显优于最先进的模型，并显示出具有竞争力的计算效率。此外，可视化实验表明，我们的方法通过习得的时空注意具有很高的可解释性。
问题形式化交通流预测的目的是在给定限制条件下预测未来的交通流。形式上，给定在交通系统上观测到的交通流张量X，我们的目标是从之前的T步流量观测值中学习映射函数f来预测未来的T步交通流