时空图神经网络6——AST-GCN和ASTGCN-CSDN博客

本文链接：https://blog.csdn.net/m0_51501260/article/details/147888477

系列文章目录

时空图神经网络1——GNN和GCN
时空图神经网络2——RNN和GRU
时序图神经网络3——T-GCN
时序图神经网络4——GAT
时序图神经网络5——TCN

文章目录

系列文章目录
前言
一、AST-GCN 原理
二、ASTGCN 原理
总结

前言

我想先说两句A3T-GCN。我在之前之所以写 TGCN，目的就是想学习 A3TGCN，后者是基于前者写的。但是经过这段时间的了解，我觉得（个人觉得）A3TGCN 虽然有自己的可取之处（添加了注意力机制），但也不是特别让人惊艳的一个架构，就是 TCN 添加了注意力机制而已。然而该架构的原文看起来很难理解（可能是我自己的问题），而且代码跟原文不一样。对于代码的讲解，可以看A3T-GCN架构预测交通流量，我个人是不建议研究这篇论文和代码。原文是A3T-GCN: Attention Temporal Graph Convolutional Network for Traffic Forecasting，源代码可访问链接。

增强时空图卷积网络 ASTGCN 是从一个交通流量预测的场景中提出的，原理上看起来比 A3TGCN要好，因为该架构将外部因素建模为动态属性和静态属性，并设计了一个属性增强单元，将这些因素编码并整合到时空图卷积模型中。具体来说，静态因素不会随时间持续变化，但会对特定时刻的交通状态产生影响。例如，在有大量餐厅的路段，用餐时段的交通状态会与其他时段有显著差异；而动态因素会随时间变化，进而导致交通状况的改变。以天气状况为例，当天气从晴天转为大雨时，交通速度通常会下降。
本文将外部因素视为道路网络中路段的属性，同时对路段的属性和交通特征进行建模，以获得增强的特征向量。通过这种方式，模型对外部信息的感知能力得到增强，从而提高了预测的准确性。

真的绷不住，原来还有个 ASTGCN，我本来应该是想看这一篇的，因为这是 Pytorch Geometric Temporal 中有的一个模型，结果我看原文看的AST-GCN。

一、AST-GCN 原理

1. 问题定义

交通预测的目标是基于历史状态和辅助信息来预测未来的交通状态。路段的交通状态主要通过平均交通流量、速度和占有率来描述，本文以平均交通速度为例来说明研究工作。因此，本文的交通预测任务主要是基于过去一段时间的交通速度以及影响交通的外部因素，来预测未来的交通速度。

道路网络 $G$ ：城市道路网络的拓扑结构表示为 $G = (V, E)$ ，其中 $V = \{v_1, v_2, ···, v_n\}$ 是路段集合， $n$ 是路段数量。 $E$ 是边的集合， $E = \{e_1, e_2, ···, e_m\}$ 反映了路段之间的连接关系， $m$ 是边数量。使用邻接矩阵 $A$ 表示路段的连通性，当 $G$ 是无权网络时，A是一个由 0 和 1 组成的矩阵，其中 1 表示相应的路段是连通的，0 则表示不连通。
特征矩阵 $X$ ：交通特征矩阵 $X$ 。在本文中，交通速度被视为城市道路网络中每个节点的固有属性，用矩阵 $X$ 表示，其中 $x_{i}^{t}$ 表示在时间 $t$ 时第 $i$ 个路段的交通速度，所以矩阵 $X$ 的尺寸是[num_nodes, num_features, seq_length]。在这里 num_features=1。
属性矩阵 $K$ ：在本文中，将影响交通状况的外部因素视为城市道路网络中路段的辅助属性。这些因素可以构成一个属性矩阵 $\{K_1, K_2, \ldots, K_l\}$ ，其中 $l$ 是辅助信息的类别数量。第 $j$ 类辅助信息的集合表示为 $K_j = \{j^1, j^2, \ldots, j^t\},j_{i}^{t}$ 是在时间 $t$ 时第 $i$ 个路段的第 $j$ 个辅助信息。

综上所述，交通预测问题可以理解为在道路网络的基本拓扑结构 $G$ 、特征矩阵 $X$ 和属性矩阵 $K$ 的基础上，学习函数 $f$ ，以获得未来时间段 $T$ 的交通信息，用公式表示如下： $[x_{t+1}, x_{t+2}, \ldots, x_{t+T}]=f(G,X|K)$

2. 属性增强单元

为了全面考虑影响交通状态的因素，本研究将外部因素建模为道路网络中路段的动态 $D$ 和静态 $S$ 属性。然后，将交通特征矩阵X和属性矩阵 $K = \{S, D\}$ 输入到属性增强单元A-Cell中，以得到增强矩阵。

静态属性 $S$ ：是 $p$ 个不同静态属性的集合，也就是 $\{s_1, s_2, \dots, s_p\}$ ，由于属性值不随时间变化，在生成增强矩阵的过程中，始终使用整个矩阵 $S$ ，而在每个时间戳，仅从特征矩阵 $X$ 中提取相应的列。具体来说，在时间 $t$ 由静态属性增强的矩阵形式为： $E_{s}^{t}=\left[X^{t}, S\right], E_{s}^{t} \in R^{n\times(p + l)}$ 在此看出静态属性的形状是[num_nodes, p]，静态属性的增强矩阵形状是[num_nodes, p+l]。

这个 l我是有疑问的，上文提到 $l$ 的时候是属性矩阵 $K$ 有 $l$ 个辅助信息特征，不是 $X$ 中的，所以我觉得这里增强矩阵的尺寸应该是[num_nodes, p + num_features]

动态属性 $D$ ：是 $w$ 个不同动态属性的集合，也就是 $\{D_1, D_2, \dots, D_w\}$ ，由于属性值要随时间变化，其形状为[num_nodes, seq_length, w]。我们在计算 $t$ 时刻时，可能下意识觉得使用 $D_w^t$ 就可以了。实际上动态属性是有积累效应的，我们要考虑一段时间的动态属性值，对属性 $s$ 来说也就是 $D_w^{t-m,t}=[D_w^{t-m}, D_w^{t-m+1}, \dots, D_w^{t}]$ 。然后通过属性增强矩阵，形成在 $t$ 时刻包含静态和动态外部属性以及交通特征信息的增强矩阵： $E_{s}^{t}=\left[X^{t}, S, D_1^{t-m,t}, D_2^{t-m,t}, \dots, D_w^{t-m,t}\right], E_{s}^{t} \in R^{n\times(p + l + w(m+1))}$

我们可以发现，虽然 $E_{s}^{t}$ 看起来很复杂，实际上就是把特征矩阵、动态属性和静态属性拼接起来，而且其尺寸第一维和 $X^t$ 没有区别，仍然是 num_nodes，只是在特征维度上拼接了。也就是说在图卷积的运算中， $E_{s}^{t}$ 就是输入，尺寸是[num_nodes, num_features]，其中 num_features = p + l + w(m+1)。

与静态部分相同，我个人认为 $l$ 是节点的特征，在这里是 1，前文中说的 $K$ 的辅助信息类别是 $l$ ，我认为 $l = p + w$ 。

2. 时空图卷积网络

通过结合 GCN 和 GRU 模型，可以实现捕捉现实世界交通数据中时空依赖关系的目的。GCN 模型用于生成路段的表示，这些表示在每个时间戳捕捉道路网络上的空间依赖关系。然后，将这些随时间变化的表示输入到 GRU 模型中，以捕捉时间依赖关系。这一部分的详细内容分别在系列文章中的 GCN 部分，GRU 部分和 TCN 部分都已经写过了，可以去看一下。

3. 属性增强时空图卷积模型（AST-GCN）

在这里插入图片描述
如图所示，属性增强单元通过融入静态和动态外部属性来扩展原始特征矩阵的维度。在时间 $t$ ，从原始交通特征矩阵 $X$ 中提取 $X^t$ ， $\{D^{t - m}, \ldots, D^{t}\}$ 是从时间 $t - m$ 到 $t$ 的动态信息集合， $S$ 是静态属性，在不同时间戳下保持不变， $E^{t}$ 是外部属性与原始交通特征融合后的增强矩阵。然后，增强矩阵 $E$ 被用作时空模型 $f$ 的输入，以获得最终的预测结果 $y = f (A, X, E)$ 。具体而言，增强矩阵被输入到一系列 GCN 中，以生成编码交通状态空间特征的路段时变特征。然后，这些特征序列被用作 GRU 的输入，对时间依赖关系进行建模，并推导隐藏的交通状态。
在这里插入图片描述
图中式子只看框架的话，明显是 GRU 架构，之前专门展开讲过了；我们回顾一下 GRU 的公式就知道，GRU 中的当前输入，在这里是 $gc(E^t,A)$ ，其中 $g c$ 是图卷积操作。通过一次卷积操作聚合各个节点的特征，然后放入 GRU 中就结束了。整体框架如下图所示：
在这里插入图片描述
写到这里由于发现搞错了，想看的是 ASTGCN 而不是 AST-GCN，自然也就不再继续往下写了，不过写到这里也差不多结束了，剩下的就只有代码要看了。虽然很不开心但是这篇论文的思路也是有可取之处的，重在学习！
我不甘心啊，所以我决定看看真正的 ASTGCN，因为我觉得他的方法很吸引我。

二、ASTGCN 原理

1. 交通网络

在本研究中，我们将交通网络定义为一个无向图 $G = (V, E, A)$ ，如图中（a）所示，其中 $V$ 是一个有限节点集， $∣ V ∣ = N$ ； $E$ 是边集，表示节点之间的连通性； $\in \mathbb{R}^{N × N}$ 表示图 $G$ 的邻接矩阵。交通网络 $G$ 上的每个节点以相同的采样频率检测 $F$ 种测量值，也就是说，每个节点在每个时间片都会生成一个长度为 $F$ 的特征向量，如图中（b）的实线所示。
在这里插入图片描述

2. 交通流量预测

基于我们前面写过的很多内容来说，我们的输入尺寸其实都差不多，在这里也是一样[num_nodes, seq_length, num_features]，或者变换一下顺序。但是为了讲的清楚，要在这里写出原文中的内容防止后面出现混乱。假设在交通网络 $G$ 中，每个节点记录的第 $f$ 个时间序列为交通流量序列，且 $\in (1, ..., F)$ 。我们用 $x_{t}^{c, i} \in \mathbb{R}$ 表示在时刻 $t$ 节点 $i$ 的第 $c$ 个特征的值， $x_{t}^{i} \in \mathbb{R}^{F}$ 表示时刻 $t$ 节点 $i$ 的所有特征的值， $x_{t} = (x_{t}^{1}, x_{t}^{2}, ..., x_{t}^{N})^{T} \in \mathbb{R}^{N × F}$ 表示时刻 $t$ 所有节点的所有特征的值， $(X_{1}, X_{2}, ..., X_{\tau})^{T} \in \mathbb{R}^{N × F × \tau}$ 表示所有节点在 $T$ 个时间片内的所有特征的值。此外，我们设 $y_{t}^{i} = x_{t}^{f, i} \in \mathbb{R}$ ，表示未来时刻 $t$ 节点 $i$ 的交通流量。所以用文中的符号来表示的话， $X$ 的形状是 [N, F, τ]。

3. 数据采样

在这里插入图片描述

假设采样频率为每天 $q$ 次。假定当前时间为 $t_{0}$ ，预测窗口大小为 $T_{p}$ 。如图所示，我们沿时间轴截取长度分别为 $T_{h}$ 、 $T_{d}$ 和 $T_{w}$ 的三个时间序列段，分别作为近期、日周期和周周期组件的输入，其中 $T_{h}$ 、 $T_{d}$ 和 $T_{w}$ 均为 $T_{p}$ 的整数倍。这三个时间序列段的详细信息如下：

近期段：这是一段与预测期直接相邻的历史时间序列，如图中绿色部分所示。直观来看，交通拥堵的形成和消散是渐进的。因此，刚刚过去的交通流量不可避免地会对未来的交通流量产生影响。
日周期段：由过去几天与预测期同一时间段的片段组成，如图中红色部分所示。由于人们日常活动的规律性，交通数据可能会呈现出重复的模式，比如每日的早高峰。日周期组件的目的是对交通数据的日周期性进行建模。
周周期段：由过去几周中与预测期具有相同星期属性和时间间隔的片段构成，如图中蓝色部分所示。通常，周一的交通模式与历史上周一的交通模式具有一定的相似性，但可能与周末的交通模式有很大差异。因此，周周期组件旨在捕捉交通数据中的周周期特征。

据说效果很好的 TimesNet 也有类似的思想，即把时间按照不同周期划分，分别捕捉规律。

这三个组件共享相同的网络结构，每个组件都由几个时空块和一个全连接层组成。每个时空块中都有一个时空注意力模块和一个时空卷积模块。为了优化训练效率，在每个组件中采用了残差学习框架。最后，三个组件的输出基于一个参数矩阵进一步融合，以获得最终的预测结果。
在这里插入图片描述
上图中分别体现出了空间、不同时间和其他特征对交通流量的影响程度示意图。

4. ASTGCN 架构

在这里插入图片描述
ASTGCN 架构如上图所示，SAtt 代表空间注意力，TAtt 代表时间注意力，GCN 代表图卷积，CNN 代表卷积，FC 代表全连接，ST 代表时空块，我们依次来看。

4.1 空间注意力机制

以近期组件中的空间注意力机制为例（下表为 h）：
$\mathbf{S} = \mathbf{V}_s \cdot \sigma((\mathcal{X}_{h}^{(r - 1)}\mathbf{W}_1)\mathbf{W}_2(\mathbf{W}_3\mathcal{X}_{h}^{(r - 1)})^T + \mathbf{b}_s) \tag{1}$ $S'_{i,j} = \frac{\exp(S_{i,j})}{\sum_{j = 1}^{N} \exp(S_{i,j})} \tag{2}$
其中， $\mathcal{X}_{h}^{(r - 1)} = (X_{1}, X_{2}, \ldots, X_{T_{r - 1}}) \in \mathbb{R}^{N \times C_{r - 1} \times T_{r - 1}}$ ，是第 $r$ 个时空块的输入， $r = 1$ 时即 $\mathcal{X}_{h}^0$ 。 $C_{r-1}$ 是第 $r$ 个时空块（第 $r$ 层）的通道（特征）数， $r = 1$ 时 $C = F$ 。 $T_{r - 1}$ 是第 $r$ 层时间维度的长度。当 $r = 1$ 时，在近期组件中 $T_{0} = T_{h}$ （在日周期组件中 $T_{0} = T_{d}$ ，在周周期组件中 $T_{0} = T_{w}$ ）。 $V_s, b_s \in \mathbb{R}^{N \times N}$ ， $W_1 \in \mathbb{R}^{T_{r-1}}$ ， $W_2 \in \mathbb{R}^{C_{r-1} \times T_{r-1}}$ ， $W_3 \in \mathbb{R}^{C_{r-1}}$ 是可学习参数，再使用 sigmoid 函数激活，注意力矩阵 $S$ 是根据该层的当前输入动态计算得出的。**元素 $S_{i, j}$ 的值在语义上表示节点 $i$ 和节点 $j$ 之间的相关强度。**然后，使用 softmax 函数确保一个节点的注意力权重之和为 1。在进行图卷积时，我们会将邻接矩阵 $A$ 与空间注意力矩阵 $\in \mathbb{R}^{N×N}$ 相结合，以动态调整节点之间的影响权重。

公式已经看了，也知道符号是什么意思，我们怎么理解这个公式？
我们之前提过，注意力机制可以简单理解为相关性，重点考虑相关性大的。先说公式（2），softmax 是注意力机制里的常见操作，一个作用是把注意力的“评分” $S$ 控制在 (0,1) 的范围中，另一个作用是让大的数值变得更大，也就突出了重要信息。那么 “评分” $S$ 是怎么算出来的？让我们忽略权重矩阵，也就只有 $\mathcal{X}_{h}^{(r - 1)}$ 和其转置起实质作用，自己乘自己，也就是自注意力机制。这样的操作得到每个节点对其他所有节点的依赖关系。

4.2 时间注意力机制

在时间维度上，不同时间片的交通状况之间存在相关性，并且这些相关性在不同情况下也会有所变化。
$\mathbf{E} = \mathbf{V}_e \cdot \sigma((\mathcal{X}_{h}^{(r - 1)}\mathbf{U}_1)\mathbf{U}_2(\mathbf{U}_3\mathcal{X}_{h}^{(r - 1)})^T + \mathbf{b}_e) \tag{1}$ $E'_{i,j} = \frac{\exp(E_{i,j})}{\sum_{j = 1}^{N} \exp(E_{i,j})} \tag{2}$
其中， $V_e, b_e \in \mathbb{R}^{T_{r-1} \times T_{r-1}}$ ， $U_1 \in \mathbb{R}^{N}$ ， $U_2 \in \mathbb{R}^{C_{r-1} \times N}$ ， $U_3 \in \mathbb{R}^{C_{r-1}}$ 是可学习参数，元素 $E_{i, j}$ 的值在语义上表示时间 $i$ 和时间 $j$ 之间的相关强度。到这里可能就不用再多说了，我们可以看出，公式的形式与空间注意力机制部分完全一样！通过改变可学习参数矩阵的形状，改变计算相关性的维度，实现从计算每个节点对其他所有结点的依赖，到每个时间点对其他所有时间点的依赖的转变。

4.3 时空卷积

时空注意力模块让网络自动对有价值的信息给予相对更多关注。经注意力机制调整后的输入被送入时空卷积模块，其结构如图所示。这里提出的时空卷积模块由空间维度的图卷积和时间维度的卷积组成，前者从邻域中捕获空间依赖关系，后者从相邻时间片挖掘时间依赖关系。
在这里插入图片描述
就是 GCN 和 TCN 的有机结合。具体来说，当图的规模很大时，GCN 中直接对拉普拉斯矩阵进行特征值分解是非常昂贵的。因此，本文采用切比雪夫多项式实现图卷积，来近似但有效地解决这个问题；这里的时间卷积比 TCN 更简单，只用了用标准 2D 卷积捕获时间维特征，并采用ReLU激活函数。

4.4 多组件融合

在本节中，我们将讨论如何整合三个组件的输出。以预测周五上午 8 点整个交通网络的交通流量为例。可以观察到，一些区域的交通流量在早上有明显的高峰期，因此日周期和周周期组件的输出更为关键。然而，在其他一些地方，并没有明显的交通周期模式，因此日周期和周周期组件可能作用不大。因此，在融合不同组件的输出时，三个组件对每个节点的影响权重是不同的，这些权重应该从历史数据中学习得到。所以融合后的最终预测结果为： $\hat{Y}=W_{h} \odot \hat{Y}_{h}+W_{d} \odot \hat{Y}_{d}+W_{w} \odot \hat{Y}_{w}$ 其中 $W_{h}$ 、 $W_{d}$ 和 $W_{w}$ 是学习参数，反映了三个时间维度组件对预测目标的影响程度。

总结

看了 A3TGCN 和 ASTGCN 两个架构，还是很有收获的，都有非常可取之处。另外，写完以后我还看到了一篇讲解 ASTGCN 的 blog 我觉得非常好，原理中很多复杂的维度变换都写的很详细，我很佩服，所以推荐给大家：ASTGCN模型数学原理与代码详解（网络模型部分）。
但是我没仔细看，有点没耐心了，想去实战一把，搞不清楚的再仔细看看。
感觉这篇写的不满意，但是我其实主要是为了自己忘记的时候回来查看，顺便给大家分享。也可能后面再补充一些内容，再说吧！