论文学习:2022 KST-GCN

论文题目:2022:KST-GCN: A Knowledge-Driven Spatial-Temporal Graph Convolutional Network for Traffic Forecasting

KST-GCN:一种知识驱动的交通预测时空图卷积网络----paper code

一、摘要概括

(缺陷)现有的研究很少考虑外部因素或忽视外部因素之间复杂的相关性对交通的影响。

(解决)提出了一种基于时空图卷积网络的知识表示驱动的交通预测方法。首先构建一个交通预测的知识图,并通过一种名为KR-EAR的知识表示学习方法获得知识表示。然后,我们提出了知识融合单元(KF-Cell)来结合知识和交通特征作为一个时空图卷积主干网络的输入。

二、简述发展

1.递归神经网络(LSTM,GRU)用于模拟时空依赖性;卷积神经网络(CNNs)提取空间特征;两者相结合

2.适用于非欧几里得结构的GNN可以更好的模拟道路的空间依赖性

3.交通信息受多种外部因素影响(天气,POI,紧急事件...),知识图(Knowledge Graph -KG)的出现提供了思路

Contributions:

1)为了考虑各种外部因素和交通信息之间的语义相关性,专门设计了一个用于交通预测的知识图。在此基础上,我们设计了KF-Cell,将知识图嵌入方法所得到的知识整合到时空图卷积网络中。

2)我们在真实数据集上评估了所提出的方法。在不同的预测范围下,结合KF-Cell提高了各种骨干模型的交通预测性能。

3)通过消融实验,进一步证明了语义关系在交通预测中的有效性,并验证了动态和静态外部因素对交通预测的影响。

三、相关知识

1 交通流量预测

传统的预测模型:包括历史平均值、时间序列和卡尔曼滤波,经常使用统计分析来预测交通状况。

智能预测模型:主要可分为两类传统的机器学习方法和深度学习方法。(模型使用历史交通状态数据来预测未来。)

图卷积网络(GCN):能够利用道路网络拓扑信息的模型,其输入由邻接矩阵和特征矩阵组成。邻接矩阵提供了道路网的拓扑特征,该特征矩阵包含交通信息。GCN捕获道路路段节点之间的连接关系,以预测未来的交通状况。这些模型只保留了道路网络中空间关系的信息,缺乏捕捉时间关系的能力。相应地,前馈NN、DBN 、RNN和RNN变体GRU 、LSTM 等模型捕捉到了交通特征的趋势和周期性,但忽略了城市交通网络的内在拓扑特征。

时空预测模型:充分利用网络的拓扑结构和交通数据中的时间依赖性的时空预测模型。这类模型包括ST-ResNet 、SAE 、FCL-Net 、DCRNN和T-GCN 等。

除了历史交通信息外,交通状态还可能受到多种外部因素的影响,如天气条件、地铁站、公交车站信息、poi等因素。当前交通预测任务的主要挑战是将外部因素信息整合到预测模型中。在以前的研究中,已经提出了一些考虑多源数据的方法。A利用基于LSTM的编码器对外部信息进行编码,并将集成的多模态数据作为预测模型的输入序列。B提出的基于GRU的模型融合了输入的交通特征和天气信息。

交通预测问题

看作是学习函数f,根据交通网络拓扑A特征矩阵X交通知识图CKG来计算未来一个时期的交通特征:

2 多源数据中的关系挖掘

多源数据中的关系主要以网络的形式呈现,通过表示向量挖掘网络中所包含的结构信息和关系信息成为获取网络信息的主要途径。一般来说,根据节点的类型,网络可以分为同质网络和异质网络。同质网络只考虑一种类型的数据,也就是说,节点类型必须相同;然而,大多数实际网络具有不同类型的节点。为了克服同质网络表达能力有限的问题,提出了异质网络来表示不同类型节点的信息以及节点之间的关系。知识图的出现为上述问题提供了更广泛的思路。

四、方法

1 框架

2 知识表示学习 Knowledge Graph Representation Learning

知识图可以定义为一个基于不同数据的知识网络,由多个三元组(头、关系、尾)组成,语义信息和网络结构。三组实体中的头部和尾部都是实体,而这种关系是实体之间的语义关系。一个知识图可以表示异构节点和多关系信息。以下为知识图示例.

大多数知识图(KGs)使用基于实体关系的表示,其中三重关系中的关系用于建模实体的属性和实体之间的关系。然而,关系是两个实体之间的语义关系,而属性是一个实体本身的属性;这两个概念是根本不同的。此外,属性和实体通常具有一对多、多对一或多多关系。属性因素与交通道路网络的关系为多对一和一。因此,原则上,区分属性信息和关系信息的知识图表示更适合于在此场景中捕获语义信息和相关性。因此,我们采用基于实体-属性关系的知识图表示模型KREAR 来捕捉路段和外部因素之间的知识结构和语义信息。

左虚线框是基于基于实体关系的表示构建的知识图,右虚线框是KR-EAR采用的整个基于属性关系的知识图表示。在基于实体关系的模型中,所有的三元组都被建模为学习表示,而在基于整个属性关系的模型中,这些三元组被分成属性三元组和关系三元组(如图右侧的上、下两部分所示)。例如,(e1、ra1、e6)是一个属性三重,而(e2、r2、e3)是一个关系三重。

本文将道路、属性及其之间的关系以CKG = {R,R_att,att_att}的三元组的形式表示。

R为表示路段vi与vj之间的邻接关系adj的三重关系三,n为路段数

R_att是属性三重,代表道路和属性之间的对应,形成上述公式,attl1类的属性,attl_vi是相应的属性值(例如,天气晴朗)的路段i,L是属性类别的数量。

属性att_att之间的共现关系,其中attl1和attl2表示两个不同的属性,p为它们的共现概率。

基于实体-属性-关系知识图,KR-EAR试图学习实体、关系和属性的嵌入,并记为XE。然后,通过给定嵌入向量XE,通过最大化关系三元组和属性三元组的联合概率来定义目标函数,其形式化为:

其中P((vi、adj、vj)|XE)表示关系三重的条件概率(vi、adj、vj),P((vi、att、att、attv)|XE)表示属性三重(vi、att、att v)的条件概率,V = {v1、v2、···、vn}是一组路段实体。关系三重的条件概率由TransR 生成,可定义为:

g(vi,adj,vj)是能量函数,它表明了关系和实体对之间的相关性。g为TransR的目标函数,其中b1为偏置项,Mr表示转移矩阵,L1和L2表示L1和L2范数。

同时,利用分类模型捕获实体与属性之间的相关性,进行属性三重编码。计算目标函数中一个属性三重的条件概率的方程可定义为:

其中f是一个非线性函数(例如,tanh),att v是属性的值集,Eatt v是属性值att v的嵌入向量,瓦特是一个线性变换,b2,batt是偏差项。通过这种方法,KR-EAR分别生成关系和属性的表示,同时加强了属性之间的相关性。KR-EAR的计算复杂度为(S1 + S2)K2,其中K为嵌入维数,S1为关系三元组的个数,S2为属性三元组的个数。

3 KF-Cell

知识融合单元(KFCell):为了感知外部因素的知识以及这些因素之间的相关性,并基于衍生知识对交通流的时空依赖性进行建模,将外部知识引入主干时空图卷积网络。

KF-Cell适用于基于图神经网络和递归神经网络的交通预测模型,且不失一般性。KF-Cell的输入是知识嵌入XE,而路段的特征是在t时刻观察到的Xt。输出为t时刻与外部知识融合的更新路段特征,我们记为Xt 0。由于外部因素的多样性,我们将外部因素分为静态因素和动态因素两类。

GCN利用图谱理论来获取交通网络的拓扑关系和特征,得到各路段的表示向量:

然后,利用递归神经网络来捕获时间依赖性。我们以门控循环单元(GRU)为例,展示了知识驱动的交通预测的整个工作流程。GRU模型由一个复位门和一个更新门组成

最后,将ht输入一个全连接层,生成预测的未来速度Yˆ。KST-GCN训练过程的目标是使预测的交通速度Yˆ与实际交通速度Y之间的误差最小,因此将损失函数表述为:

五、实验

1 实验设置

根据经验,将学习率设置为0.001,用于训练的数据集的比例为80%。隐藏单元的数量知识嵌入维数是我们模型的两个重要超参数,因为它们对预测结果的影响最大。

因此,我们进行实验,为这两个超参数选择合适的值:(1)嵌入维数:当嵌入维数设置为20时,所有KST-gcn的性能都最好;(2)隐藏单元数:我们将嵌入维数固定为20,当隐藏单元数设置为128时,KF-T-GCN的性能最好。对于KF-DCRNN,最佳选择是64,其中出现最佳性能。

KF-T-GCN在不同超参数设置下的性能:

KF-DCRNN在不同超参数设置下的性能:

2 结果与分析

KF-T-GCN和AST-GCN的性能

与基线和骨干的实验比较:

在不同的预测范围下的性能:

消融实验:

鲁棒性分析:

模型的可解释性:

1)对于所有的预测范围,KF-T-GCN都可以很好地捕捉到交通数据的变化趋势,从而能够更准确地进行预测。

2)KF-T-GCN的短期预测结果优于长期预测结果。短期预测(15 min)的预测结果和地面真相比长期预测(60 min)更接近。这可能是由于在长期预测中更复杂的时空依赖性,需要考虑额外的因素。

3)KF-T-GCN的预测在转折点处有显著的偏差。原因可能是,峰值的变化不仅受到天气和poi的影响,而且还受到交通意外事件等多种因素的综合影响。

其他分析:

六、未来

由于数据收集的困难,本文构建的知识图只考虑了POI和天气信息,且表达能力有限,从而限制了KST-GCN的性能。当有更多的多源数据可用于构建知识图时,KST-gcn可以更有效。

PS:学习、记录所用

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值