IJCAI2019 长时段交通预测解决方案

Graph WaveNet for Deep Spatial-Temporal Graph Modeling

一 作者介绍

本文的作者是悉尼科技大学的Zonghan Wu博士，师从IEEE member Shirui Pan，作者还发表了一篇GNN的综述[《A Comprehensive Survey on Graph Neural Networks》](https://arxiv.org/pdf/1901.00596v2.pdf)，引用量达到600多。这里是作者团队的主页：https://shiruipan.github.io/。

二 摘要：

本文提出了一个新的时空图建模方式，并以交通预测问题作为案例进行全文的论述和实验。交通预测属于时空任务，其面临的挑战就是复杂的空间依赖性和时间依赖性。近年来由于图卷积的火热，加上路网结构和图卷积的契合，在交通领域的应用达到了不错的效果。然而，之前的工作存在一些不足。对空间层面而言，之前的工作往往是在一张固定的图结构上取捕获空间依赖特征，假设实体之间的基本关系是预先确定的，但是，固定的图结构(关系)并不一定反映真实的依赖关系，反过来讲，真实的关系可能由于数据中不完整的连接而缺失。对时间层面而言， 往往采用的是基于RNNs的模型，并不能很好的捕获到长期依赖。用一般的RNN的方法，会出现梯度消失或梯度爆炸的问题；用LSTM等RNN的变体模型去训练，需要更多的资源，难以训练，而且不能处理大量更长的序列预测问题。

针对这两项不足，本文提出了一个新的时空图建模的方式Graph WaveNet，该模型在空间依赖的获取方面采用了图卷积的方式，同时增加了一个网络不全的方式，即根据数据自适应的学习出一个新的邻接矩阵；在时间依赖的获取方面，采用了扩张卷积的方式，不需要RNNs的循环、递归，用一种简单的卷积神经网络实现，在效果和运行时间上都占有很大优势。最后在两个真实的数据集上得以验证，取得了state-of-the-art的效果。

三 文章亮点：

本文解决的是时空问题，因此分别从时间和空间两个角度进行分析。针对上面提到的固定图结构，本文提出了自适应邻接矩阵，也就是对固定图结构的补充；针对时间的长期依赖问题，使用LSTM经过多层的迭代，会导致很久以前的信息逐渐消失，那么本文采用dilated conv不需要考虑太久之前的信息消失问题，可以提取比LSTM更长的时间依赖。

• 空间依赖：GCN + adaptive adjacency matrix + diffusion convolution

• 时间依赖：dilated casual convolution + gated mechanism

四 详细内容：

4.1 模型定义：

给定初始化图结构，以及数据预处理得出的邻接矩阵（通过计算节点之间的距离得到的），N表示路网中的节点数，X表示输入的特征向量，在这里表示t时刻的交通流。D表示每个节点的特征数，预测问题的目标就是用前S个时间步的车流量来预测未来T个时间步的车流量，这里的车流量一般指的是每一个时间段的平均车速。

• Given:

  • Graph:

  • Adjacency matrix:

  • Dynamic feature matrix:

• Target：

下面看一下模型的框架结构。左边是模型的输入部分，堆叠了K层时空层，提取时空依赖特征。每个时空层包括一个gated TCN块和GCN块，其中的gated TCN用于提取时间依赖，包括两个TCN模块，分别是TCN-a和TCN-b。TCN模块提取到时间依赖特征之后，传到GCN层提取空间依赖特征。右侧是输出层，相当于一个MLP（多层感知器）。下面我来分