这里写目录标题
1. Abstract
本文目标是预测交通流,该问题最大的挑战是交通流数据的高度非线性和复杂的关系模式。现存的预测方法缺乏对交通流动态时空关系的建模,于是本文提出一种带注意力机制的图卷积神经网络 attention based spatial-temporal graph convolutional network (ASTGCN) model 具体思路:
模型由3个独立的组件,每个组件分别对交通流3种时间特性 (temporal properties)建模
- 当前 recent
- 日周期 daily-periodic
- 周周期 weekly-periodic
将时间特性分为三类分别建模再融合这一思路,可参考以下两篇文章:
【1】Zhang, J. , Zheng, Y. , Qi, D. , Li, R. , & Yi, X. . (2016). DNN-based prediction model for spatio-temporal data. Acm Sigspatial International Conference on Advances in Geographic Information Systems. ACM.
【2】Zhang, J. , Zheng, Y. , & Qi, D. . (2016). Deep spatio-temporal residual networks for citywide crowd flows prediction.
每个组件包含2个主要部分
- 时空注意力机制 捕获 动态时空相关性
- 时空卷积层通过 图卷积 捕获 空间关系,普通卷积 捕获 时间关系
2. Introduction
Figure 1 主要说明交通流的时空相关性
- 两点之间的加粗线条表示相互影响强度,颜色越深,影响越大
- Fig. 1(a) 从空间角度分析,说明不同路段对于A点影响不同,且随着时间推移 各路段影响强度也会变化
- Fig. 1(b) 从时间角度分析,对于A路段的交通流来说,不同位置的历史观测值,对A路段未来流量有不同影响
现有研究
模型 | 局限 |
---|---|
时间序列分析模型 | 难以处理不稳定、非线性数据 |
传统机器学习模型 | 用于处理复杂数据,但是(1)难以同步考虑高维交通数据的时空相关性;(2)依赖于特征工程,需要较多专家经验 |
深度学习模型 | 如(1)CNN处理网格数据的空间特征;(2) GCN描述图数据的空间相关性。但以上方法均不能同时处理时空特性和动态相关性 |
具体文献综述部分主要从以下三方面分析
- 交通预测
- 基于图的卷积
- 注意力机制
3. Preliminaries
3.1 交通网络
- 将交通网络定义为无向图 G = ( V , E , A ) G=(V,E,A) G=(V,E,A) ,其中 ∣ V ∣ = N |V|=N ∣V∣=N 表示 N N N 个节点; A A A 表示图的邻接矩阵 A ∈ R N × N A\in \mathbb{R}^{N\times N} A∈RN×N
- 每个节点测量三个属性值,分别是flow(预测目标)、occupy、speed
3.2 交通流预测
变量 | 含义 |
---|---|
f ∈ ( 1 , . . . , F ) f\in (1,...,F) f∈(1,...,F) | 在交通图 G G G 中的每个节点都有 f f f个时间序列数据 |
x t c , i ∈ R {x_t^{c,i}}\in \mathbb{R} xtc,i∈R | 节点 i i i 在 t t t 时刻的第 c c c 个属性的值, c = f l o w / o c c u p y / s p e e d c=flow/occupy/speed c=flow/occupy/speed |
x t i ∈ R {{\mathrm{x}}_t^{i}}\in \mathbb{R} xti∈R | 节点 i i i 在 t t t 时刻的所有属性值 |
X t = ( x t 1 , x t 2 , . . . , x t N ) T ∈ R N × F {{\textrm{X}}_t = \left ( {\mathrm{x}}_t^{1},{\mathrm{x}}_t^{2},...,{\mathrm{x}}_t^{N}\right )^T}\in \mathbb{R}^{N\times F} Xt=(xt1,xt2,...,xtN)T∈RN×F | 所有节点在 t t t 时刻的所有属性值 |
χ = ( X 1 , X 2 , . . . , X τ ) ∈ R N × F × τ \chi =({\textrm{X}}_1,{\textrm{X}}_2,...,{\textrm{X}}_\tau )\in \mathbb{R}^{N\times F\times \tau} χ=(X1,X2,...,Xτ)∈RN×F×τ | τ \tau τ 个时间片段的所有节点所有属性值 |
y t i = x t f , j ∈ R {{y_t^i}={x_t^{f,j}}} {\in} {\mathbb{R} } yti=xtf,j∈R | 节点 i i i 在未来 t t t 时刻的 f l o w flow flow 值 |
问题描述
给定
χ
\chi
χ ,预测未来
T
p
T_p
Tp 时间片段的交通流量序列
Y
=
(
y
1
,
y
2
,
.
.
.
,
y
N
)
T
∈
R
N
×
T
p
{Y={(y^1, y^2,...,y^N)^T} }\in \mathbb{R}^{N\times T_p}
Y=(y1,y2,...,yN)T∈RN×Tp ,
其中
y
i
=
(
y
τ
+
1
i
,
y
τ
+
2
i
,
.
.
.
,
y
τ
+
T
p
i
)
∈
R
T
p
{y^i}={(y_{\tau +1}^i,y_{\tau +2}^i,...,y_{\tau +T_p}^i)} \in \mathbb{R}^{T_p}
yi=(yτ+1i,yτ+2i,...,yτ+Tpi)∈RTp
4. ASTGCN
4.1 整体框架
4.2 Spatial-Temporal Attention
- 在空间维度,不同区域的交通状况相互影响,这种相互影响有很强的动态性
- 在时间维度,不同的时间片段的交通流量存在相关性
通过注意力机制捕获以上两种关系,此处以
r
e
c
e
n
t
recent
recent 模块为例:
4.3 Spatial-Temporal Convolution
经过注意力机制调整后的输入,被喂入时空卷积模块(spatial-temporal convolution module),该模块由时空维度的图卷积组成,以捕获来自近邻节点的空间依赖性。同时沿着时间维度卷积,也能够捕获来自近邻时间的时间依赖性。
4.3.1 Graph convolution in spatial dimension
谱图理论将卷积从网格结构数据推广到了图结构数据,本文研究的交通网络实际是图结构数据,为充分利用交通网络拓扑特征,在每个时间片段上,作者采用基于谱图理论的图卷积处理,以挖掘空间维度的相关性。
此处公式推导不展开,基于谱图的(或称频谱域)的图神经网络详细教程,请参考 【GCN】万字长文带你入门 GCN
几个要点:
- 引入切比雪夫展开式近似 L k L^k Lk
- 激活函数为 the Rectified Linear Unit (ReLU)
- 为动态捕捉节点间的相关关系,令 切比雪夫多项式 与 空间注意力矩阵 相乘,即:
4.3.2 Convolution in temporal dimension
在捕获图像的空间维度信息后,再叠加一个普通的卷积层(在时间维度),通过融合近邻时间片段的信息,以更新目标节点的信息,更新公式如下:
总结
- 一个ST Block = 空间注意力 + 时间注意力 + 图卷积 +普通卷积
- 然后,将多个ST Block堆叠,以进一步提取更大“感受野”的关联信息。
- 最后,添加一个全连接层,以保证输出与目标有相同的维度和形状,最后的全连接层使用 ReLU 作为激活函数。
4.4 Multi-Component Fusion
最后这步,就是看看怎么将三个部分(recent / daily-periodic / weekly-periodic segment)的输出融合,融合原则就是从历史数据中学习,因为不同地区 不同时刻的三个部分影响权重不同,公式如下:
5. Experiments
最后的结果肯定是该模型更好,具体对比结果如下,(注:MSTGCN模型指的是,没有注意力机制的ASTGCN)
最后最后小总结:
- 本文中将注意力机制和切比雪夫多项式相乘的思路,还是有点儿新奇的,之后看代码时要关注下此处。
- 突然意识到 对比上篇文章,上篇文章是“三分图”的表示形式,与本文的图不是一个概念,对于能否将上个方法应用到交通领域,还要结合具体模型看。