Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting

《Attention Based Spatial-Temporal Graph Convolutional Networks

for Traffic Flow Forecasting》文献阅读

作者、发表期刊或会议

Shengnan Guo, Youfang Lin, Ning Feng, Chao Song, Huaiyu Wan
AAAI

背景

近年来，许多国家都致力于大力发展智能交通系统(ITS)，以帮助高效的交通管理。交通预测是智能交通系统不可缺少的一部分，特别是在交通流量大、行驶速度快的高速公路上。由于高速公路相对封闭，一旦发生拥堵，将严重影响通行能力。交通流量是反映公路状态的基本指标。如果能够提前准确预测，交通管理部门将能够更合理地引导车辆，提高公路网的运行效率。近年来随着交通行业的持续发展，越来越多的感受器和检测器设备被安装到高速公路上，这些设备积累了很多关于时间和空间上的数据，可用于交通的预测。早期的时间分析模型都用于解决交通预测的问题，但是对于这些模型来说，解决非线性和不稳定的问题来说是非常难的。
随着机器学习的发展能够对于复杂的数据进行处理，但是难以同时处理高维的交通数据的时间空间相关性。

挑战

近年来，越来越多的研究人员使用深度神经网络去解决高维度的时空数据，（CNN、GNN等）但是这些方法仍然不能同时模拟交通数据的时空特征和动态相关性；

作者的贡献

1. 作者提出了一种时空注意力机制去学习交通数据的动态时空相关性，空间注意用于模拟不同位置之间复杂的空间相关性，时间注意机制用于抓取动态的不同时间之间的联系；
2. 作者设计了一种新型的时空卷积模块用于建模交通数据之间的时空依赖；
   

定义

将交通网络定义为一张无向图$G=(V、E、A)(节点数目、边集合、邻接矩阵)$。每一个节点都会以同一个相同的频率取F个数据，因此一个节点的的特征长度就是F在每一个时间片上（这里的数据可能包括流量、车道占用率，速度、等等数值）；但是会将交通的流量作为预测的目标；
问题定义：给定所有节点在过去$\tau$时间片上的数据,预测整个交通网络未来的$T_P$个时间片上的交通流序列数据

模型

1）作者设计的模型一共含有三大部分：分别是日预测模块、周预测模块、月预测模块；每一个模块的结构相似，都是由ST block组成（可以多个)，每一个ST block由一个空间和时间注意力模块以及一个图卷积组成，最后输出数据。

2）其中空间注意力模块的计算公式如下所示：

注：
这里的注意力机制有一些与之前常见的计算公式有所不同，这里以上是我对于这个公式的理解。但是我不明白为什么这里的attention机制的V不是在softmax之后在相乘的？这里的$X_h^{r-1}$表示输入的数据[N通道数时间长度（5分钟一个长度）]、其他的都是可学习的参数。
3）时间注意力模块的计算公式如下所示，其中的设置和上边的基本一致：

在计算完毕之后将输入的数据，计算$X_H^{r-1}$

4）时空卷积模块：由空间上的图卷积和时间上的卷积组成，前者关注邻域之间的空间相关性，后者关注时间上的相关性。空间图卷积部分：子啊这个部分中，作者在这里使用了切比雪夫多项式来接近傅里叶变换方式的卷积。其中公式如下所示：

注：
$\theta$表示多项式系数的向量；$T_0$=1,$T_1$=x;之后的每一个节点都会被它的k-1阶邻域所更新
5）时间卷积模块：通过合并相邻的时间片上边的信息来更新节点的特征，其中公式如下所示：

注：1. 这里的输入的数据就是之前经过时间注意力模块的计算之后的数据；
2.这里的每一层之间是相互联系的，这一层计算完毕之后向下一层进行传递；
3.然后最后进行输出最后的数据然后融合
6）融合模块：因为作者设计的模块中由三个模块分别是天、周、月模块，用以捕捉不同的周期性，然后最后在输出，需要对于输出的数据进行融合然后形成预测；融合公式如下所示：

disscusion

拉普拉斯矩阵：
设 G 为一个图，其节点集合为 V，边集合为 E。拉普拉斯矩阵 L 的定义如下：

1. 对于图 G 的每个节点 i，设 d(i) 为节点 i 的度数（即与节点 i 相连的边的数量），则 L 的对角元素为 d(i)。
2. 对于图 G 的每一对不同的节点 i 和 j，如果节点 i 和节点 j 之间存在一条边，则 L 的 (i, j) 和 (j, i) 处的元素为 -1；如果不存在边，则这两个位置的元素为 0。