Dynamic graph convolutional recurrent imputation network for spatiotemporal traffic missing data

作者、期刊

Xiangjie Kong , Wenfeng Zhou , Guojiang Shen , Wenyi Zhang, Nali Liu , Yao Yang；Knowledge-Based Systems（中科院一区）

背景

在现实世界的智能交通系统中，从传感器收集的时空交通数据往往显示出丢失或损坏的数据，这严重阻碍了交通数据研究的发展。缺失数据插补是一个经典的研究课题，包含了广泛的方法。然而，这些方法通常在两个方面不发达：道路网络随时间的动态空间依赖性，以及不同数据的信息提取和利用。

模型设计

作者设计了一个动态图卷积循环补全网络，作为一种工具去补全缺少的交通数据；DGCRIN使用了一个图生成器和一个动态的卷积GRU单元去对道路网络的动态时空相关性进行细粒度建模。另外使用了一个辅助的GRU去学习缺失的模式信息数据，并引入了一种具有衰减机制来融合不同范围的信息。这种架构能够使得DGCRIN拥有高的适应性能够满足复杂的传感器丢失的数据；

挑战

1. 由于交通数据往往在时空维度上标签出很强的动态相关性，静态的图结构可能不能够完全建模这个问题；在交通数据插补的背景下很少考虑这个问题。因此，构建一个动态图来建模动态相关性，并为数据重建提供更准确有效的推理信息，仍然是一个挑战。
2. 生成掩蔽矩阵数据集和时滞矩阵数据集 ，前者表示包括缺失模式的原始数据状态，后者有助于研究观测对缺失值估计的贡献。这两种方法都有利于插补任务。然而，许多先前关于交通数据插补的研究忽略了对此类数据集的分析和利用。因此，从多样化和复杂的时间数据中提取和融合信息值得进一步研究。

作者的贡献

1. 我们提出了一种新的交通数据插补框架来推断时空输入数据中的缺失值。该模型可以通过考虑道路网络的动态和包括数据缺失模式和观测时段在内的多种时间信息，有效地对不完全交通数据的动态时空特征进行建模，以实现更准确的估计。
2. 我们提出了一种动态图生成技术，通过使用递归生成的插补和历史信息，对具有不完整交通数据的路网节点之间的空间相关性进行细粒度建模。

模型

定义
将一个交通网络看作是一个无向图G$G=${$V,\epsilon ,SA$},其中$V$代表无向图中的节点的N个检测器;$\epsilon$代表的是两个节点之间的空间连通性;$SA$代表的是图的临界矩阵;{$X_1,X_2,X_3......X_T$}为原始观察的数据(其中每一个$X_t$都包含n个值用于表示在这n个时间序列中的时间测量值);矩阵构造方式$M$={$M_1,M_2,M_3,M_4,M_5.....M_T$},其中构造的公式如下所示
$\{\begin{array}{ll}1& \text{ if }{x}_{i,j}存在\\ 0& \text{ if }{x}_{i,j}不存在\end{array}$
time-lag矩阵构造方式

目标
将带有掩码矩阵的时间序列矩阵和原来的时间序列矩阵的插值缩小

图生成器

由于道路交通状况包含着复杂的时空联系，并且随时会发生改变，例如在一天的早高峰和晚高峰的时候。作者设计了一种新的动态图的生成器来迭代产生插补的数据。并且使用历史的数据来生成获得一个动态图。在每一个时刻中，生成的插补数据$\widehat{X_t}$。（文中并没有说这个数据是如何生成的）和之前融合的时间状态${\hat{H}}_{t-1}$，将这两个向量拼接起来组成每一个节点的特征向量$co{n}_t$；然后通过一个静态图的连接信息和一个GCN模块来进行消息传递和更新得出新的节点的表示$D{F}^t$；
$D{F}^t=\Theta GCN(co{n}_t)$
在得到这个节点特征矩阵之后，通过一个可学习的参数矩阵$E$获取节点之间的依赖关系。公式如下所示
$D{E}^t=tanh(\alpha (D{F}^t\odot E))$；
最后通过如下的公式来获得一个动态的邻接矩阵：
$D{A}^t=ReLU(tanh(\alpha (D{E}^t{D{E}^t}^T)))$
最后输出新的动态图邻接矩阵；

动态卷积模块

将上一个状态的融合向量当作输入；计算这个状态的融合向量$H^k=\alpha H_{in}+\beta H^{k-1}\widetilde{D{A}_t}+\gamma H^{k-1}\widetilde{SA}$（$H_0=co{n}_t=H_{in}$,希腊字母表示可以学习的超参数）最后经历一个全连接的神经网络输出$H_{out}={\sum }_{i=0}^K{H}^i{W}^i$

DGCGRU

由于利用当前时刻的综合复杂信息来预测下一个时刻的缺失数据以实现对于缺失数据的逐步填充，因此这里的模型必须同时捕捉数据空间和时间上的相互依赖关系。因此再DGCGRU模块中，作者将其中GRU内部的矩阵乘法替换成了动态卷积模块，其中计算公式如下所示：

注：

1. ${\Theta }_z、{\Theta }_r、{\Theta }_c$是可学习的参数；
2. $\ast G$表示动态卷积模块；
3. $\sigma$表示sigmod激活函数；

信息融合

masking GRU

除了从交通观测数据中挖掘信息外，作者还考虑了相应的掩码数据;就数据类型而言，它们都是不同的观测数据是数值型的，而掩码数据是布尔型的。同样，前者是一个节点特征，而后者指示前者的状态（存在或缺失），并反映缺失的数据模式。因此，使用不同的组件来处理这两种类型的信息是合理的。在这项研究中，作者使用了一个额外的GRU来模拟掩蔽矩阵：
$H_{M,t}=GRU(M_t)$

融合层和时间衰减

获得两个隐藏状态的隐藏状态之后（$H_{X,t},H_{M,t}$分别表示不同的信息），这里作者使用了一个门控融合策略，通过一个sigmod激活函数应用到这两个隐藏状态之后，然后进行融合信息；这里的融合信息的过程可以表示为如下的公式：

注：

1. $W_M、W_F、b_M、b_F$都是可学习的参数；
2. $H_{F,t}$表示的是在t时刻融合之后的信息；

因为最后一次观测的数据和缺失的位置越大，呢么，这个观测数据对于缺失数据的重构应该是更小的，所以，这里作者设计了一个时间衰减因子来解决这个问题。

补全数据

在获得之前的$\widehat{H_t}$，能够近似的得到第t+1个时刻的${\tilde{X}}_{t+1}$，由此经过一个线性的转换可以得出在t+1个时刻的数据补全向量；公式如下所示：

注：

1. ${\hat{X}}_{t+1}$是对于$X_{t+1}$的补充；
2. 其中的$W_X、b_X$是可学习的参数；

最后在观察到的数据之间数据以及他的掩码矩阵和向前时间间隔矩阵以及向后时间间隔，使用分别这三种数据计算出替补的数据然后使用如下的公式来得到最后的更新的数据；

损失函数

注：

1. k1、k2是超参数；$L_e$为MAE
2. 作者优化使用了Adam优化器进行优化；

实验

为了评估实验的有效性，作者使用了PeMS04和PeMS08数据集进行实验。作者使用两种方法来模拟缺失的数据，随机缺失以及持续缺失（时间上持续缺失以及空间上持续缺失）。作者对于模型以及Benchmark imputation models计算了MAPE、RMSE、MAE。
实验设置：学习率为1e-3、batch_size为128、节点的嵌入维度为40、隐藏层的维度为64、k1、k2分别为10和1、作者训练的过程中设计了20步提前停止法对模型参数进行优化，防止过拟合。对于对比的模型作者是采用的参数都是文章中推荐的最好的模型参数；实验结果如下：


对于大多数模型来说，对于输入任务，CM场景显然比RM场景更具挑战性。MAPE/RMSE/MAE值一般随着缺失率的增加而增加，这表明缺失数据的模式和缺失率对模型性能有显著影响。模型在PeMS04上的表现比PeMS08差，这可能是由于道路网络节点数量较多，增加了前者的复杂性。在大多数情况下，基于数据分布的PC-GAIN方法表现不佳，并且由于数据丢失率高而显得不足。矩阵/张量分解方法(BGCP和BTTF)由于忽略了时间特征，积累了较大的误差。
消融实验结论：首先，双向结构对模型性能有重要影响，因为它使模型能够综合考虑数据的前向和后向传播。其次，动态图模块是关键组成部分，它通过跟踪路网的动态变化，提取潜在的时空依赖信息，有利于插值任务的完成。第三，掩蔽GRU的积极作用是明显的。最后，讨论了时滞矩阵和静态图的衰减机制，以提高性能。

dissicusion

欢迎各位进行批评指正
交通数据插补的本质是从观测数据中高效地提取有效的潜在信息，如时间相关性和空间相关性，以估计缺失的数据。
动态空间依赖：交通数据往往在时空维度上表现出很强的动态相关性，而静态图结构可能无法完全建模。