论文2 STGHTN：用于交通流预测的时空门控混合变压器网络

Spatial-Temporal Gated Hybrid Transformer Network

Methodology

图 3 显示了 STGHTN 框架，其中包括一个输入层、四个堆叠的时空层 (STL) 和一个时空融合层。
输入层通过卷积将时空特征转换到高维空间，以表示复杂的时空依赖性。 STL包括THCT和SHGT。 THCT 提取短期和长期时间依赖性。 SHGT 用于提取局部和全局尺度的动态空间依赖性。 STFL聚合不同粒度的时空特征来探索不同时间步之间的空间依赖性，并使用1×1卷积执行下游预测任务。

Temporal hybrid CNN-transformer

Temporal gated convolution

使用扩张因果卷积来捕获道路节点时间步之间的时间趋势。

Temporal multi-head self-attention

我们使用 MSA 来模拟复杂的时间依赖性。

Temporal fusion block

我们利用残差连接和线性变换来增加模型的表达能力，并进一步调整时间步之间的依赖关系，具体形式如下：

LN是归一化

Spatial hybrid GCN-transformer

SHGT 由 SGGC、空间多头自注意力（SMHA）和空间融合块组成。 SGGC使用多图图卷积运算来提取局部空间信息。 SMHA 利用自注意力机制来挖掘遥远道路之间的连接，以适应全局空间依赖性。空间融合块旨在整合相连道路之间以及相距较远的道路之间的依赖关系。

Multi-graph construction

提出一种结合道路连接图、相似图和自适应动态图的多图融合方案，同时考虑道路之间的静态和动态链接。多图形式为 G={G1,G2,G3}，其形式如下：

• G1 道路连接图
  
• G2 相似度图
  基于动态时间规整（DTW）算法构建
  
• G3 自适应动态图

Spatial gated graph convolution

如图5所示，为了增加GCN表示的表达能力，我们在网络中添加了跳跃连接和线性变换。 给定输入特征X^S，我们可以得到静态图卷积生成静态空间特征STA，动态图卷积生成动态空间特征DYN。 具体形式如下：

我们通过门控融合机制同时考虑静态和动态图卷积，通过 sigmoid 激活函数获得介于 0 和 1 之间的张量。 具体形式如下：

Spatial multi-head self-attention

Spatial fusion block

Spatial-temporal fusion layer

进一步，我们使用两层1×1卷积运算来完成多步预测，比单步预测效率更高。 具体格式如下
Huber loss function