Spatio-Temporal Graph Convolutional Networks A Deep Learning Framework for Traffic Forecasting

1.文章概述

在交通领域的预测问题，先前模型在短期预测上能取得较好的效果，但是在中长期的的预测中效果并不太好。

作者在文中将传统的中长期预测方法分为两种：

• 动态建模：使用数学工具和物理知识，该方法需要复杂的编程和巨大的算力消耗，且模型中使用了很多不切实际的假设和简化。
• 数据驱动：ARIMA该方法基于数据是平稳的假设不符合交通领域的实际情况。

深度学习的方法：

使用CNN捕捉交通网格之间的相邻关系，同时使用RNN在时间维度上捕捉时间依赖。但是传统的卷积方法只能在网格上使用，于一些实际领域的情况不符。且RNN网络通过迭代训练会造成误差累积，且训练难度大。

文章使用方法:

• 为了充分利用空间信息，使用图建模交通网络
• 为了应对RNN固有的缺陷，文中通过在时间轴上使用卷积结构提取时间特征

2.文章模型

2.1 网络结构

整个网络由两个ST-Conv块和一个输出层组成，其中ST-Conv由两个Temporal Gated-conv和一个Spatial Grapa-Conv组成，分别用于提取时间和空间依赖

2.2 Graph CNNs for Extracting Spatial Features

（1）原始图卷积

原始的图卷积定义为：$\Theta {\ast }_{\mathcal{G}}x=\Theta (L)x=\Theta \left(U\Lambda U^T\right)x=U\Theta (\Lambda )U^{T}x$，该方法进行图卷积十分耗时主要有两个方面的原因:一个是因为特征矩阵相乘使时间复杂度为$O(n^2)$,二就是特征分解也会耗费大量的时间。

（2）ChebNet

在后来的改进中，为了降低复杂度用首先对图卷积的核进行了限制，令$\Theta (\Lambda )={\sum }_{k=0}^{K-1}{\theta }_k{\Lambda }^k$这样就将卷积由原来的N(所有节点的数量)降为K，并使用切比雪夫展开对卷积核进行近似，$\Theta (\Lambda )={\sum }_{k=0}^{K-1}{\theta }_k{T}_k(\tilde{\Lambda })$,其中$\Lambda =2\Lambda /{\lambda }_{max}-I_n$(${\lambda }_{max}$是拉普拉斯矩阵的最大特征值)。新的图卷积就可以定义为$\Theta {\ast }_{\mathcal{G}}x=\Theta (L)x=\Theta \left(U\Lambda U^T\right)x={\sum }_{k=0}^{K-1}{\theta }_k{T}_k(\tilde{L})x$，其中$T_k()$是切比雪夫多项式，其定义如下：
$$\{\begin{array}{l}{T}_0(x)=1\\ T_1(x)=x\\ T_{n+1}(x)=2x{T}_n(x)-T_{n-1}(x)\end{array}$$
该做法主要有两个好处：

• 卷积核的参数从原先的n个减少到k个，从原先的全局卷积变为现在的局部卷积。

• 通过切比雪夫不等式的迭代方法降低了时间复杂度，也避免了特征分解的操作

（3）ChebNet的一维近似

文中使K-1=1，则原来的卷积简化为$g_{\theta }(L)x\approx {\theta }_{0}x+{\theta }_1\left(L-I_n\right)x={\theta }_{0}x-{\theta }_1\left(D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}\right)x$，令$\theta ={\theta }_0=-{\theta }_1$,则原式简化为$g_{\theta }(L)x\approx \theta (I_n+D^{-1/2}A{D}^{-1/2})x$此处由于$I_n+D^{-1/2}A{D}^{-1/2}\in [0,2]$,采用重归一化，$I_n+D^{-1/2}A{D}^{-1/2}$转化为${\tilde{D}}^{-1/2}\tilde{A}{\tilde{D}}^{-1/2}$,其中$\tilde{A}=A+I_n$,$\widetilde{D_{ii}}={\sum }_j\widetilde{A_{ij}}$。

2.3 Gated CNNs for Extracting Temporal Features

Temporal convolutional layer包含一个一维因果卷积和门控线性单元(GLU)。

• 1-D causal convolution

因果卷积

扩散卷积

• gated linear units(GLU)

  

  原始的GLU将输入分为两个部分，分别经过1D-conv之后一部分经过Sigmodi然后进行相乘。

参考资料

https://zhuanlan.zhihu.com/p/286445515