【阅读笔记】深度时空混合图卷积的城市交通预测模型

gao00013

已于 2023-12-27 11:17:51 修改

阅读量1.1k

点赞数 19

文章标签：笔记

于 2023-12-26 21:57:12 首次发布

本文链接：https://blog.csdn.net/gao00013/article/details/135215916

版权

《小型微型计算机系统》网络首发

首发时间：2023-12-22

摘要

由于交通网络复杂的时空相关性和交通数据的非线性，给交通预测带来了很大的挑战。现有的方法主要关注路网的时空特征，分别对时间相关性和空间相关性进行建模来模拟时空依赖关系。随着城市道路网络的进一步扩大，导致模型对路网空间特征的挖掘能力不足。此外，交通运行状态收到外部环境因素的干扰，交通流在路段传递效应的影响下会出现较大波动。为解决上述问题，提出深度时空混合图卷积模型，利用图卷积网络和图注意力网络的残差连接分别汇聚路网全局和局部信息，扩展图卷积的感受野范围，从而增强路网空间特征的提取能力。受Transformer在长序列预测上的启发，同时为减少计算复杂度，通过引入Informer模型来处理路网数据潜在的时间依赖性，实现对交通流参数的长期预测能力，并对城市天气和POI（医院，学校，商场）等外部因素进行编码来增强路网信息的属性。为验证所提出模型的性能，在真实数据集上开展实验，对模型进行准确性和可行性分析。实验结果表明，深度时空混合图卷积模型预测精度最高达到了75.1%，较Transformer和Informer分别提升了2.5%和2.3%，在不同预测范围下都超过了其他基线模型，具有长期的交通预测能力。

1 相关工作

为了探究天气、POI因素对交通流的影响，在Informer模型种嵌入时间戳编码，可用于处理时间序列数据，有助于模型更好的理解和捕捉时间信息的模型和依赖关系。通过对天气、POI进行独热编码，与速度序列的位置编码组成Informer时间特征提取层的输入，不增加过多训练参数的情况下增强数据特征维度，提高模型线性回归精度，在实验环节加入消融实验来验证方案的可行性。

空间层面，本文利用GCN和GAT网络构建混合图卷积模型，来获取数据在传递过程种的空间特征。由于GCN和GAT网络本质上属于低通滤波器，经过多次堆叠回出现过平滑现象，导致节点表示能力下降，节点之间呈相似性。为了解决该问题，引入残差网络以提高模型的表达能力和抑制过平滑现象。在每个GCN和GAT模块的输出特征上，将原始节点特征与网络输出特征进行相加形成残差连接，用于保留原始特征的细节和区分度，抑制特征的过度平滑化，并增强模型对节点的细粒度建模能力。

主要贡献：

1、解决了图神经网络由于过度平滑现象导致对空间特征提取能力不足的问题，提高了对全局和局部的依赖关系，加强了路网空间信息的传递

2、针对上游混合图卷积输出的节点数据均使用单个Informer模型进行特征提取，节点之间参数相互独立，实现全图路段时序的并发预测

3、通过对外部环境因素进行编码，引入到Informer模型的时间戳中，提高模型预测精度，增强模型的泛化能力

4、实验结果表明本文所提出模型在不同范围预测下的效果均优于基线模型，并可以实现长期的交通预测任务

2 深度时空混合图卷积的交通预测

2.2空间相关性建模

本文利用图卷积网络处理路网的图结构。如图1所示，将路段目标视作节点对其进行特征聚合，通过一个科学系的权重矩阵进行线性变化，生成新的节点特征表示。GCN在解释模型的输出和分析节点影响力时具有较好的可解释性，有助于深入理解图数据中的节点关系和特征重要性，

其中 $\hat{A}$ 是自相关的邻接矩阵，描述了各路段之间的相邻关系， $H^{(l)}$ 是第l层的特征表示， $W^{(l)}$ 是第l层的权重矩阵。该汇聚方式消除了数据的稀疏性，每个节点的表示由其邻居节点的特征加权平均得到，可以更好捕获图的全局特征。

除了关注路网全局信息外，目标节点的局部信息汇聚也至关重要。图注意力网络加入注意力机制来动态学习和判断节点在信息传递过程中的重要性，如图2，节点特征被表示为特征向量，通过权重学习允许网络在信息聚合时对周围节点赋予不同的权重，注重于局部邻接节点的特征汇聚

其中 $x_i$ 表示目标节点特征， $x_j$ 表示邻接节点特征，为线性变化的加权矩阵， $F'$ 输出特征维度

在真实的交通网络中，不是所有链路之间都是连通的，需要邻接矩阵来选择图中的邻域来进行注意权重计算，并对所有的注意权重系数归一化操作

其中 $N_i$ 表示目标节点i在图结构中的邻接节点，||为连接操作。此外，GAT网络可引入多头注意力机制来捕捉到不同的节点信息，提高模型的表达能力，来减少模型的过拟合风险，增加模型的泛化能力

将k组相互独立的注意力机制的结果进行平均操作，其中表示第k个注意力机制的归一化权重系数。

2.3时间相关性建模

基于路网的全局时间依赖性建模是交通流预测的关键步骤。Transformer模型采用Encoder-Decoder框架，通过引入自注意力机制对输入序列中不同位置之间的关系进行建模，因此能够更好地处理远距离的时间依赖关系。自注意力机制的特点是对所有节点的Q、K和V执行缩放的点积，并对聚合数据使用softmax函数计算每个位置的注意力分数。注意力的计算方法如公式

其中d为K的向量维度，表示输入序列的维度。第i个Q的注意力系数的概率公式为

其中，，是attention中的不对称指数核

面对真实的交通场景，并非所有Q、K点积对都占据主导地位，全部进行相关性运算会提高计算复杂度和增加内存消耗。如图3，Informer通过使用ProbSparse自注意力机制来替代Self-attention，引入稀疏化概率来控制每个位置与其他位置的连接概率，从而减少了注意力权重的计算和储存成本。ProbSparse自注意力机制首先对K采样得到样本 $\bar{K}$ ，再利用KL散度来衡量均匀分布和Attention分布的相似性，对于每个关于 $\bar{K}$ 求其稀疏性度量M

前半部分是 $q_i$ 关于所有K的LSE（Log-Sum-Exp），后半部分是算术平均值。但在计算M时需要进行 $O$ 次计算，会导致LSE数值上下波动，通过近似计算方法来替代M

其中值越大表示对Attention越重要，找到 $\bar{M}$ 值最大的u个 $q_i$ ，关于K 的自注意力分数如公式

其中 $Q$ 和 $\bar{Q}$ 具有相同的维度， $\bar{Q}$ 是由M值最大的u个 $q_i$ 组成，其余部位用0填充。Informer在ProbSparse自注意力层之间加入了蒸馏操作，利用一维卷积和最大池化层将 $x_k$ 程度减半来剔除关于冗余的自主里分数所对应的V值，以提取主导注意力和聚焦序列特征，从m层到第m+1层的蒸馏操作。