INS 论文分享：一种用于交通流预测的多通道时空Transformer模型

本文主要介绍了我们在长期交通流预测方面的最新研究成果，该成果已发表在信息学领域的顶级期刊《Information Sciences》上，论文题目为《A Multi-Channel Spatial-Temporal Transformer Model for Traffic Flow Forecasting》。该论文的第一作者及通讯作者为肖建力老师，第二作者为硕士生龙佰超。此研究展示了我们团队在该领域的最新进展，并为未来的交通管理和规划提供了有力的技术支持。本推文的作者为龙佰超，审校为朱旺。

目前，交通流量预测面临的主要挑战包括：（1）随着预测时间的增加，预测的准确性会下降；（2）预测结果极大地依赖于从道路网络中提取时空依赖关系。为了克服上述挑战，我们提出了一个多通道时空Transformer模型，用于交通流量预测。该模型通过融合来自不同交通数据通道的结果来提高预测准确性。我们的方法利用图卷积网络从每个通道提取空间特征，同时使用基于Transformer的架构捕捉跨通道的时间依赖性。我们引入了一个自适应邻接矩阵，以克服从固定拓扑结构中提取特征的限制。在六个真实世界数据集上的实验结果表明，在时序模型中引入多通道机制可以增强性能，我们提出的模型在准确性方面优于基线模型。

1. 研究背景与论文贡献

随着城市化的快速推进，城市交通问题日益突出，包括道路拥堵、交通事故及环境污染等。交通流预测作为智能交通系统的核心组成部分，对于缓解交通压力、降低事故发生率和减轻环境污染具有重要意义。然而，由于交通流的复杂时空依赖性，使得准确预测交通流仍是一个极具挑战性的任务。与以往研究不同，我们的模型引入了多通道机制，以探讨周期性因素对交通流预测的影响。在空间维度上，我们同时考虑了静态与动态空间依赖关系，以更全面地捕捉空间信息；在时间维度上，虽然Transformer架构目前已广受欢迎，但我们也对比了使用其他深度时间序列模型的研究。论文通过比较Transformer架构与多通道机制的结合前后效果，展示了选择Transformer的合理性。以往研究多聚焦于时间序列与空间模型的结合，较少涉及不同尺度下的模型对比，因此我们提出了MC-STTM（多通道时空Transformer模型）。我们在六个公共交通数据集上对该方法进行评估，实验结果显示我们的模型性能显著优于最先进的基线模型。论文的主要贡献包括：

(1) 提出了一种新颖的多通道数据融合模型，通过整合不同通道的历史交通数据来模拟交通网络，明显优于未利用多通道数据的现有交通流预测模型。

(2) 利用图卷积网络提取空间特征，并创新性地将自适应邻接矩阵与基于已知道路网络拓扑的邻接矩阵结合，以更精准地捕捉空间依赖性。

(3) 采用Transformer架构提取时间特征，与RNNs相比，它在长期预测方面表现出有竞争力的性能。并在不同通道中引入了独特的位置编码机制，有效捕捉时间依赖性。

(4) 在包括交通流量和速度数据集在内的多个数据集上进行了广泛的对比实验，验证了模型的优越性。

2. 模型

如图 1所示，MC-STTM模型采用多通道输入机制，首先对输入特征进行维度扩展，以捕获更多的信息和关系，提高模型的性能和泛化能力。接着，模型通过堆叠时空块（如图 2）对扩展后的特征进行提取。每个时空块包含一个空间块和一个时间块，这两者共同作用以提取时空特征。通过叠加这些时空块，形成一个深度模型，从而更有效地提取复杂特征。在此基础上，特征融合阶段采用了类似于GRU的门控机制，这不仅防止了梯度的消失和爆炸，还有助于模型学习长期依赖关系。最后，预测层通过两次一维卷积运算来聚合这些时空特征，完成对交通流的预测。这一系列设计使得MC-STTM模型在处理交通流预测任务时表现出卓越的性能。

图1 MC-STTM模型框架

图2 时空模块的框架

3. 实验结果

在六个真实数据集上进行实验，以解决以下问题。Q1：在引入多渠道机制之前和之后，深度学习模型的性能是否有所提高?Q2：与其他先进的交通流量预测模型相比，我们模型的性能如何?我们还进行了消融实验，以证明每个块的重要性。

结果表明，引入多通道机制提高了深度学习模型跨不同数据集的预测性能。MC-STTM在各种数据集上都优于基线模型，特别是在长期预测方面表现优异。这证实了Transformer在捕获长时间的特征方面的优越性。交通流量预测需要考虑外部因素，如天气、道路状况或可能影响交通流量的特殊事件。然而，由于数据集中的信息有限，我们专门对道路网络节点数量最多的PEMS07数据集进行了鲁棒性实验。在测试集中，我们引入均值为0，标准差为0.01的高斯噪声作为干扰。结果表明，加入噪声前后的交通流预测结果差异不大。因此MC-STTM具有较强的抗干扰能力。

4. 结论

论文提出了一种新型的多通道时空Transformer模型（MC-STTM），用于交通流预测。该模型通过多通道机制，不仅学习了路网的静态空间特征，也掌握了动态空间特征，并通过引入Transformer架构来更有效地捕获长期依赖关系。在多个真实世界数据集上的实验结果显示，MC-STTM在性能上超越了基线模型，证明了我们方法在捕捉时空相关性方面的高效性。具体而言，多通道机制的引入显著提升了深度学习模型的性能。未来，我们计划进一步探索如何在数据缺失或存在多模态数据的情况下，从原始数据中提取更多的时空信息。此外，随着多模态数据的增加，未来的研究将可能整合文本、图像、在线信息等多种资源，以实现对实时交通状况的更精准预测。