用于交通预测的动态图形模型

TYRE: A dynamic graph model for traffic prediction

摘要：本文研究的是交通预测问题，其目的是预测未来道路网络的交通状态。一个关键的挑战是，以前的方法缺乏对捕获时间依赖性的讨论，以及交通网络中位置之间的空间依赖性。此外，长期的流量预测并不令人满意。本文提出了一种交通动态图模型- tire，该模型由具有门控和注意机制的图卷积网络组成。TYRE可以学习所有相邻和遥远位置的“重要性”，控制相邻和遥远邻居信息的聚合，并学习时间依赖性以支持长有效历史大小。我们在两个不同的交通数据集(即PeMSD4和PeMSD8)上展示了我们方法的有效性和有效性。结果表明，与相关方法相比，我们的模型捕获了时间和空间依赖性，从而大大提高了性能。在PeMSD8数据集上预测未来120分钟的交通状况时，我们的模型显示，与之前的技术相比，RMSE提高了6.6%，MAE提高了10.9%，MAPE提高了2.1%。本作品的所有源代码将在https://github.com/wzhtxy/Traffic-dYnamic-gRaph-modEl上公开提供。

        在本文中，我们设计并开发了一个交通动态图模型(TYRE) -门控制注意力GCN(即捕获数据空间关系的intraggraph模型)和时间卷积网络(TCN) (即学习数据时间依赖性的Inter-Graph模型)的组合。这种新颖的图形学习和推理模型捕捉交通状况以及时空依赖关系，并能够学习不同位置的道路网络信息及其随时间的相关性。

贡献：为了对具有高度时空关系的交通数据进行建模，在TYRE中，我们使用带有门控和注意机制的GCN作为图内模型，在每个时间点生成节点嵌入，并使用TCN有效地学习嵌入序列之间的时间依赖性。据我们所知，我们是第一个提出一种能够捕捉所有地点随时间变化的时间和空间依赖关系的方法。此外，TCN采用残差层和扩展卷积来支持长有效历史大小。我们的模型可以通过以下方式提供对最先进技术的改进预测:

•在交通网络中，不同节点的相关性是不同的，固定选择归一化常数来聚合相邻信息并不能捕捉到这一特征。因此，我们引入了一个注意机制来强调所有节点之间的不同相关性。我们的Intra-Graph模型可以使用注意机制来强调所有邻居和远方邻居的“重要性”。

•GCNs中的传统聚合会导致噪声信息在层间传播。通过使用门控机制，我们的Intra-Graph模型能够控制相邻和远邻域信息的聚合。因此，可以避免层间大量噪声信息的传播。

•我们同时引入门控和注意机制来扩展当前的GCN。这允许通过引入不同的权重来表示所有节点之间的不同相关性，同时避免了GCN层之间信息传播过程中的大量噪声，从而有效地对大型空间网络的动态影响进行建模。

•使用TCN作为顺序模型(而不是循环网络，如LSTM或GRU)来支持长有效历史大小以及一些有效特征，如并行性和稳定梯度，这些特征可以非常深入地了解过去，从而预测未来的交通状况。我们是第一个使用时间卷积序列模型进行交通预测的。

•TYRE经过端到端训练，以预测交通网络中的未来交通状况。为了验证所提出模型的性能，我们在两个不同的数据集(即PeMSD4和PeMSD8)上测试了所提出的方法。我们表明，我们的方法能够比其他最先进的技术更准确地预测未来的交通状况。当预测未来120分钟的交通状况时，在PeMSD4数据集上，我们的模型比之前的技术水平提高了近7.4%的RMSE, 10.6%的MAE和8.6%的MAPE。在PeMSD8数据集上，我们的模型显示，与之前的先进技术相比，RMSE提高了6.6%，MAE提高了10.9%，MAPE提高了2.1%。

3.建议方法:TYRE

问题设置：我们将某一时间段的交通网络定义为一组动态图，，其中图，𝑇为采集数据的个数，如图2(a)所示。每个是一个加权图，其中是一组𝑛顶点，表示道路网络上的节点(如交通状况传感器)，而是一组边，表示节点之间的连通性。每个节点以相同的采样频率检测 C 个测量值。在每个时间片上，每个节点生成一个长度为C的特征向量(如交通流量、交通速度)。因此，时间步𝑡的交通状况表示为图中节点的属性。

        我们使用表示i节点的第c个特征在时间𝑡, 和𝑥 表示节点的所有特征的值𝑖 在时间𝑡. 给定图形信息𝐺 以及𝑛 历史的顶点𝑇 时间步长, ​​​​​​​ 表示t时刻所有节点的所有特征的值, 我们的目标是建立一种端到端的方法来预测未来的交通状况𝑄 序列数据上所有顶点的时间步长

具有门控注意GCN的图内模型：为了整合道路网络信息，我们提出了一种空间嵌入，将顶点的属性以及图结构信息编码为向量。这里的目标是生成空间表示在𝑁 历史的顶点𝑇 时间步长的图𝐺, 𝑁 是节点数，并且𝐷 是每个节点嵌入向量的维数。我们利用node2vec方法来学习顶点表示。此外，为了与整个模型共同训练预先学习的向量，这些向量被馈送到两层全连接神经网络中。然后，我们获得节点的嵌入，表示为 用于图形 按时间步长

        在Intra-Graph Model中，时间𝑡的图是一个静态的图快照，图的结构不会改变。由于拓扑结构中隐藏着一些信息，为了对不同位置的相关性进行建模并产生节点的潜在特征表示，我们设计了一种基于图卷积网络(GCN)的图模型。然而，在如此复杂的问题中，原始GCN存在以下缺陷: (1)简单地汇总流量属性，不强调节点间的依赖关系;(2)在传播过程中产生大量的噪声信息。因此，我们扩展GCN以减轻这些缺点。特别是，我们引入了注意力机制来强调所有相邻和遥远邻居的“重要性”。为了减轻香草GCN引入的噪声信息传播，我们在神经网络中引入了门控机制结合𝐿层的信息。综上所述，我们提出了一种新的门控注意GCN (GAGCN)作为图内模型。

        具体来说，对于每一个嵌入了的节点，代表给定节点的邻居集合。在层聚集其邻居信息的节点的隐式表示，表示为，计算公式为其中 是i的邻居，​​​​​​​表示拼接操作 。

        是一个变换门，定义为，其中是权重矩阵，是变换门的偏置向量。注意,所以或永远是正确的。因此，变换门可以平滑地改变其在不同层之间的影响。是一个非线性变换，计算公式为式中表示节点 i 的邻居集合。为权重矩阵。其中是节点 i 和他的邻居 j 的可学习的归一化注意权值，在第 l 层被计算为等式，是注意力系数，被计算为，和是用于节点 i 和其邻居的线性变换的两个不同矩阵。注意，它与GAT不同，GAT将共享权重矩阵应用于每个注意力函数中的节点。因为我们考虑到交通网络中节点 i 及其邻居的交通状况可能有很大的不同。

        第一个公式类似于神经网络中的门机制，其中𝑙层的输出通过门聚合在一起，以生成嵌入的节点。不同之处在于，在我们的方法中，聚合是一个串联操作，以便在传播期间保留更多信息。但是，级联操作可能会随着层的加深而迅速增加参数的数量(例如，在L层，节点维数为2𝐿⋅𝑑)。因此，当神经网络的层数较大时，串接操作的性能可能会下降。这将在5.4节中详细讨论，它表明神经网络层的数量不需要超过3。因此，使用串联操作是合适的。

        最后，在中，通过节点嵌入的求和，我们在时间t处聚合张量的信息，从而生成嵌入的图。应用Intra-Graph模型图,我们生成的序列图嵌入,Inter-Graph模型的输入。

 具有TCN的图间模型：InterGraph模型预测的交通流以过去的嵌入为条件。我们使用卷积网络(即TCN)作为图间模型来有效地学习嵌入序列𝐠之间的时间依赖性，因为TCN使用因果卷积，并且在𝑡时刻因果卷积的输出仅与时间较早的𝑡和前一层的元素卷积。TCN适用于一维序列输入。然而，因果卷积的基本设计需要一个非常深的网络或非常大的滤波器来实现输入1-D序列的长有效历史大小。因此，扩展卷积和残差连接架构可以集成到我们的图间模型中，以允许非常深的网络和非常长的有效历史。通过使用扩展卷积，该模块能够支持指数级大的接受场。假设我们有一个过滤器。对序列的第s个元素进行扩展卷积运算𝐷定义为:

式中𝑑为膨胀系数，𝑘为过滤器尺寸，为过去方向。因此，膨胀相当于在每两个相邻的滤嘴之间引入一个固定的步长。当膨胀系数为1时，膨胀卷积化约为正则卷积。由于一个这样的层的有效历史是(𝑘−1)⋅𝑑，有两种方法可以增加Inter-Graph Model的接受场:选择更大的过滤器尺寸𝑘和增加扩张因子𝑑。

        模型中的接受域取决于网络深度𝑛、过滤器大小𝑘和扩张因子𝑑。因此，更深层和更大的TCNs的稳定变得非常重要。为了实现更深层次的网络，残差连接的体系结构被集成到我们的Inter-Graph模型中。这允许层学习对单位映射的修改，而不是学习整个转换。剩余块包含一个分支，引出一系列转换，其输出被添加到块的输入：

        为了解释残差块的输入输出宽度的差异，我们使用额外的1 × 1卷积来确保操作⊕(元素加法)接收到相同形状的张量。在残差块中，我们有两层因果卷积(定义为)，非线性使用整流线性单元(ReLU) 和权重归一化对卷积滤波器进行归一化。对于正则化，使用空间dropout 卷积，以便在每个训练步骤中将整个通道归零。

 最后,Inter-Graph模型的输出与输入是一组预测交通状况在未来的时间戳。

在TYRE,我们使用Intra-Graph模型封闭的注意之下产生的空间表征,然后用TCN饲料𝐠到Inter-Graph模型可以有效学习时间序列之间的依赖关系和输出交通流预测在快照𝑇+ 1,𝑇+ 2,…,𝑇+𝑄过去𝑇嵌入的根据。

 端到端训练：通过最小化预测值之间的平均绝对误差（MAE），可以通过反向传播对所提出的模型进行端到端的训练预测值和真实值 :

 𝛩 表示所有可学习的参数，以及𝛺 是训练样本的数量。TYRE的算法流程图如图2（d）所示。

 

 4. 实验结果

 

 5. 结论

        我们研究了交通预测问题，并提出了一种新的时空动态图预测模型，该模型结合了带门控和注意力机制的图卷积网络和时间卷积网络。我们使用静态图对道路网络进行建模。节点表示不同位置的传感器，边表示节点之间的连接关系，传感器位置上的交通信息被描述为节点的属性。我们的模型可以捕捉基于GAGCN块的空间相关性。我们的方法没有使用递归网络（例如，LSTM、GRU），而是使用TCN作为序列模型来支持长期有效历史。在PeMSD4和PeMSD8数据集上进行评估，并与基线模型（如HA模型、ARIMA模型、VAR模型、LSTM模型、GRU模型、DA-RNN模型、GeoMAN模型、STGCN模型、GLU-STCCN模型和ASTGCN模型）进行比较，这些模型可以成功地捕捉。