论文笔记--GMAN: A Graph Multi-Attention Network for Traffic Prediction

Summary

在交通预测问题上，作者针对时空因素提出了一种图多注意网络(GMAN)来预测道路网络图上不同位置的时间步长提前的交通状况。GMAN主要采用了编码解码的架构。编码器和解码器之间包含一个注意力转换模块，模拟历史时间步与未来时间步之间的关系，有助于缓解预测时间步之间的误差传播问题。在实验中对与长时间间隔的预测有非常好的效果。

Problem Definition

长时间段的交通预测中的困难

①复杂的时空关系

如图所示，图中实现代表空间相关性，虚线代表时间相关性，颜色越深就越相关。

动态的空间相关性：图中1和2两点之间地理上比较接近但是在某些时刻去没有很高的相关性。

非线性的时间相关性：图中点3在第t+l+1时刻和t-1时刻更相关相对更近时刻的t+l。

②误差传播

当对未来的预测更进一步时，每一个时间步长上的小错误都可能放大。所以长时间段的预测是困难的。

问题定义

用一个无向图 表示道路网络，在t时间步长交通信息 ，C表示交通情况的特征（如交通量，交通速度）的数量。目标根据P个历史时间步长信息 ，得到未来Q个时间步长的交通情况

Method

如图编码器和解码器中主要是L个带残差连接的STAtt时空注意力块组成，每个时空注意力块由空间注意机制和时间注意机制和门融合机制组成。中间的TransAtt转换编码器的输出特征到解码器。其中的STE结合图结构和时间信息的模块。下面是各个模块的具体结构。

时空嵌入模块（STE）

根据交通到道路情况，使用图的嵌入的方法，把道路结构信息嵌入到D维向量，作者使用的是node2vec，获得到表征结果 ，但是这是一个静态的表示，不能反映路网中点的动态关联。然后作者就加入时间步信息，让每个时间间隔都有一个对应的空间嵌入。具体的就是把时间步用独热的方法编码，然后用两层的全连接网络嵌入到D维，获得 然后再将两这相加，获得Vi节点再tj时刻的空间嵌入结果 。

时空注意力块ST-Attention Block

①空间注意力模块

如图

H(L-1)表示第L个块的输入，Hs(L)表示空间注意力模块的输出，每个点的输出会等于上一层的各节点的信息与注意力系数的乘积和。

公式表示如下

其中 就是注意力系数，满足 。主要根据流量特征和图形结构来学习注意力分数。其中图像结构就是STE模块计算出的D维嵌入，流量特征就是交通信息。具体方法如下，其中||表示拼接，<，>是向量内积，2D是 的维度。第二个公式则是一个softmax操作，保证系数为正，并归一化。

作者还引入了多头注意力的机制，公式相应变为

为了减少运算量，作者进一步提出了一种群体空间注意。如下图

首先将节点分成G组，对每一组利用上面的公式计算组内的注意力系数，组之间的可学习参数是共享的；然后运用max-pooling池化，每一组获得一个表示；最后根据组之间的注意力系数，每个组获得一个全局特征，在与对应的本地特征结合获得最后的输出。这样来减少计算复杂度。

②时间注意力模块

时间相关性受交通条件和相应的时间背景的影响。所以提出下面的时间注意机制来自适应地模拟不同时间步长之间的非线性关联。

相关性系数和注意力系数定义如下

使用多头注意力最后获得时间注意力模块输出为

③门控融合 Gated Fusion

用来融合前面两模块（空间注意力模块，时间注意力模块）的输出结果公式表示如下

黄色部分为可学习参数。 代表两个矩阵对应元素相乘，σ(•)表示激活函数。门控有为每个点，每个时间步长 根据时间依赖和空间依赖 自适应的机制。

注意力转换模块Transform Attention

用来缓解预测时间步长之间的误差传播效应，它对每个未来时间步和每个历史时间步之间的直接关系进行建模，将已编码的流量特征转换为生成未来表示，作为解码器的输入。

预测的时间步 和历史时间步 关系被通过时空嵌入结果计算。

具体过程如下，大致就是根据预测时间tj和所有历史t的时空嵌入向量计算相关系数，经过softmax获得注意力系数，以注意力系数融合历史时间数据。

编码解码器

模型输入历史观测数据 ，然后再输入编码器前将通过全连接层转化为 ，经过编码器获得 ，经过注意力转换模块获得 ，然后通过解码器获得 ，最后通过全连接获得最后的输出 。

损失定义为均方误差，公式如下

Experiments

数据集

一个是厦门5个月，95个节点的车流量数据，

一个是PeMS数据集包含旧金山6个月，325个点的交通速度数据。

• 预测功能比较

作者提出的模型再长时间范围得到了最后的预测结果。

②容错能力

模拟丢包情况，随机去除一定比例fault-ratio的观察数据，将数据中一些地方替换为0。作者提出模型容错能力强。

③各成分影响

证明各部分都有用

④计算时间比较

GMAN训练，预测成本均较小

创新点

使用注意力机制来预测交通。

提出转换注意机制来缓解错误传播。