【交通流预测】 《LSGCN: Long Short-Term Traffic Prediction with Graph Convolutional Networks》

文章总结：

 

现存问题：很少有方法能同时满足长期和短期的预测任务。

创新点：一个新的深度学习框架LSGCN用于长短期流量预测任务。 在LSGCN中，我们分别采用空间选通块和选通线性单元卷积(GLU)来捕获空间和时间特征。 将GCN和COSATT（新的图注意网络COSATT）结合到空间门控块中。

 摘要

• 提出了一种新的深度学习框架&长短时图卷积网络(LSGCN)来解决这两种业务预测任务。
• 提出了一个新的图关注网络称为COSATT，并将COSATT和图卷积网络(GCN)集成到一个空间选通块中。 LSGCN通过空间选通块和选通线性单元卷积(GLU)，可以有效地捕捉复杂的时空特征，获得稳定的预测结果。 

引言

交通预测定义：交通预测是一个经典的时空预测问题，其目的是根据历史交通观测数据来预测未来几个时期的交通状况（如车速）。

分类：根据预测时间的长短，，即短期(5-30分钟）和长期(30-60分钟）

早期模型：传统的方法往往采用排队论、计算模拟和统计学， 由于这些方法依赖于平稳性假设，它们无法捕捉预测任务的复杂时空特征。

深度学习模型：卷积神经网络(CNN)和递归神经网络(RNN、图卷积网络(GCN)及其变体。很少有方法能同时满足长期和短期的预测任务。STGCN采用迭代预测的机制。 在前一次迭代中预测的交通状况被用作下一次迭代的历史观测。 由于历史流量观测可能不是真实值，因此预测任务会积累误差。 一般来说，网络结构层数越多，累积的错误越多，特别是对于长期任务而言。ASTGCN和DCRNN采用非迭代预测的机制，其中多个时间步长的所有预测值由一次统一评估而不是多次迭代获得。 因此，很难兼顾长期和短期任务。

针对现有研究的不足，提出长短时图卷积网络(LSGCN)来解决这两种业务预测任务。 从直观上看，迭代预测的机制对于模拟随时间变化的动态交通状况是很好的。

LSGCN也采用了迭代预测机制：两个方面来提高LSGCN的性能：

• 构造了一个简化的网络结构，具有较少的层数，减少了每次迭代的累积误差。
• 设计了一些新的网络层来有效地捕捉复杂的时空特征：空间门控块，其中新的图关注网络称为COSATT和图卷积网络(GCN)通过门控形式集成。 通过COSATT和GCN算法，空间选通块能够精确提取交通网络的空间位置邻接和相似路况。

准备工作

交通流预测问题：交通网络：无向图G=(V，E，W),其中V是节点集，E是两节点之间的边集，W∈RN×N对应于G的邻接矩阵。

图注意力：图注意网络(GAT)的输入是一组节点特征，n是节点的个数。 输出也是一组新的节点特征 对于任一对QI和QJ的关注系数给出如下。

模型

网络体系结构：LSGCN由五层组成，即两个门控线性单元卷积层、空间门控块、卷积统一层和全连接层。 空间选通块位于两个GLU之间。

在短期任务中，相邻的道路条件很重要，在长期任务中，相似的道路条件更重要。 它们可以分别被网络模型的GCN和COSATT捕获。

用于提取空间特征的空间选通块：

两个主要的空间特征，即空间位置邻接性和道路条件相似性。 利用GCN提取空间位置邻接关系，利用一种新的图关注网络COSATT提取路况相似度，采用门结构来集成两个组件。GCN基于交通网络的拓扑结构（即空间位置邻接）来确定COSATT产生的多少信息可以流入下一层

在COSATT中，我们采用全局图注意力网络来学习交通网络中任意两条道路的相似条件，而不是图注意力网络(GAT)中的邻域。

 

 COSATT和传统GAT之间的关键区别：

COSATT（Content-Style Attention）和传统GAT（Graph Attention Network）是两种不同类型的图神经网络模型，它们之间的关键区别在于如何计算节点之间的注意力。

传统的GAT模型使用的是一种基于节点相邻关系的注意力计算方式，也就是说，它会根据节点之间的连边权重来计算每个节点与其邻居节点之间的注意力权重。这种方法比较适用于节点之间存在相对清晰的连边关系的图结构，但是对于一些图结构比较复杂或者节点之间联系不是很明显的情况下，就可能存在一定的局限性。

而COSATT则采用了一种全局性的注意力计算方式，它会同时考虑节点的内容特征和图结构特征，从而更加准确地计算出节点之间的注意力权重。具体来说，COSATT模型会将节点的内容特征和节点之间的相似度进行结合，然后再通过一个归一化的操作来计算每个节点之间的注意力权重。这种方法不仅可以适用于不同类型的图结构，而且在处理一些节点联系比较模糊或者图结构比较复杂的情况下，也能够取得更好的效果。

因此，COSATT和传统GAT之间的关键区别在于注意力计算方式的不同。COSATT采用全局性的注意力计算方式，同时考虑节点的内容特征和图结构特征，从而更加准确地计算出节点之间的注意力权重；而传统的GAT模型则使用基于节点相邻关系的注意力计算方式，适用于节点之间存在相对清晰的连边关系的图结构。

用于提取时间特征的选通线性单元卷积层

使用GLU捕捉时态特征的动态行为，GLU层的核心是门控机制，它使用一个sigmoid函数来计算门控向量，然后将其与卷积操作的输出做点积运算，从而控制信息的流动。具体来说，GLU层会将输入的序列分成两个部分，分别进行卷积操作。一个部分的输出会通过sigmoid函数得到一个0到1之间的门控向量，另一个部分的输出则与门控向量相乘，从而实现信息的筛选和加权。

GLU层相比于传统的卷积层具有以下优势：

1. 减少梯度消失问题：由于门控机制的引入，GLU层可以避免梯度消失问题，并且能够更好地传递信息。

2. 更好地捕捉上下文信息：由于GLU层能够在一定程度上处理序列信息的依赖关系，因此在NLP任务中能够更好地捕捉上下文信息，提高模型的性能。

实验

使用了三个真实世界的交通数据集，即Pemsd4、Pemsd7和Pemsd8。

PEMSD4：它指的是旧金山湾区的交通数据，在29条道路上有307个传感器。 该数据集涵盖2018年1月至2月。 前47天作为训练集，其余的作为验证和测试集。

PEMSD7：它指的是加州7区的交通数据，有228个传感器，时间范围在2012年5月至6月的工作日。 前34天作为训练集，其余的作为验证和测试集。

PEMSD8：它指的是圣贝纳迪诺2016年7月至8月的交通数据，在8条道路上设置了170个探测器。 前50天用作训练集，其余时间用作验证和测试集。

数据预处理：使用线性插值法填补缺失值，并使用Zscore法对输入数据进行归一化。

所有的测试都采用60分钟作为历史时间窗口。 利用12个观测数据点(τ=12)预测未来15、30、45和60分钟(TP=3,6,9,12）的交通状况。

评估指标和基线：

采用平均绝对误差(MAE)、平均绝对百分比误差(MAPE)和均方根误差(RMSE)来衡量不同方法的性能。

 LSGCN在三个评估指标的长期和短期预测中都表现良好，尤其是在PEMSD4的长期预测中，无论是PEMSD7和PEMSD8的长期预测还是短期预测中都表现得很好。 在PEMSD4的短期预测中，也达到了次优。 结果表明，LSGCN能够有效地捕捉预测任务的时空特征。

特别是STGCN也是基于迭代预测机制的，但由于其包含的网络结构层数较多，导致的累积误差较LSGCN大。

在极端情况下测试：早高峰和晚高峰

 由于具有高效的空间选通块，LSGCN能够快速响应极端情况下的动态变化，LSGCN比其他方法更准确地捕捉到了高峰时段的趋势。 此外，LSGCN检测到的高峰时间的结束比其他方法要早

 通过用传统的图关注代替LSGCN的COSATT，LSGCN(GAT)。 比较LSGCN和LSGCN(GAT)来检验预测结果的变化。 对于每个预测任务，两种方法都用相同的超参数执行10次。 然后，分别报告每个指标的所有评价结果中的最大值和最小值。 如表3所示，LSGCN的度量值变化通常小于LSGCN(GAT)，因此COSATT使预测结果更加稳定。