机器学习周报第四十二周 STHTNN

week42 STHTNN

摘要

本周阅读了题为Spatiotemporal hierarchical transmit neural network for regional-level air-quality prediction的论文。该文提出了一种时空分层传输神经网络(STHTNN)模型。该模型通过周期特征提取组件(PFEC)和时空依赖提取组件(STEC)分别从原始时间序列中提取长期周期特征和短期时空依赖关系，并使用传输注意力模块(TransATT)将两种特征进行融合，以生成具有长短期交互信息的特征，用于最终的回归预测层。此外还设计了场景动态图模块(SDGM)，通过结合节点时间序列特征与预定义图，来生成编码多样化监测站关系的动态图，增强了模型对复杂时空关联的建模能力。

Abstract

This week’s weekly newspaper decodes the paper entitled Spatiotemporal hierarchical transmit neural network for regional-level air-quality prediction. This model extracts long-term periodic features and short-term spatiotemporal dependencies from the original time series using the Periodic Feature Extraction Component (PFEC) and the Spatiotemporal Dependency Extraction Component (STEC), respectively. The two features are fused using the Transfer Attention Module (TransATT) to generate features with long-term and short-term interaction information, which are used in the final regression prediction layer. In addition, a Scene Dynamic Graph Module (SDGM) was designed to generate dynamic graphs encoding diverse monitoring station relationships by combining node time series features with predefined graphs, enhancing the model’s modeling ability for complex spatiotemporal correlations.

1. 题目

标题：Spatiotemporal hierarchical transmit neural network for regional-level air-quality prediction

作者：Xiaoxia Chen a 1, Hanzhong Xia a 1, Min Wu b, Yue Hu a, Zhen Wang a

发布：Knowledge-Based Systems Volume 289, 8 April 2024, 111555

链接：https://doi.org/10.1016/j.knosys.2024.111555

2. Abstract

在本文中，提出了一种时空分层传输神经网络，通过提取长期周期性特征和短期时空依赖性来预测空气质量。它包含周期性特征提取组件（PFEC）、场景动态图模块（SDGM）、时空提取组件（STEC）和传输注意力（TransATT）组件。 PFEC应用离散傅立叶变换和趋势分解技术从时空图中提取长周期特征。 SDGM通过将时间序列的节点特征与预定义图相结合来生成动态图，以编码不同的站关系。 STEC 由两个卷积运算和注意力机制组成，使模型能够捕获短期时空依赖性。 TransATT整合了提取的短期时空依赖性和长期周期性特征，使模型能够同时传输短期和长期特征。为了证明所提出模型的有效性，对三个真实世界的数据集进行了实验，发现方法优于最先进的方法

3. 网络架构

STHTNN的网络整体框架如下。STHTNN采用分层结构进行预测，从原始时间序列中提取长期周期性特征和短期时空依赖性。使用 TransATT 融合提取的两个特征以生成长短期交互特征，这些特征用于最终回归层进行预测。

3.1 周期特征提取组件

PFEC旨在从时空图中捕获长期周期特征，为了更好地建模时间序列的多尺度周期性，将PFEC设计为并行结构,包含多个周期提取分支。该组件由三部分组成：图傅立叶块（GFB），图序列分解块（GSDB）和前馈网络（FFN）。

• 对节点特征矩阵进行序列分解，将其分解为周期成分和趋势成分；
• 对周期成分进行离散傅里叶变换，将时域转换为频域；
• 使用可训练的频域核对频域特征进行加权；
• 将加权后的频域特征通过IDFT变换回时域，得到提取的周期特征 ；
• 将提取的周期特征与趋势成分拼接，得到长期特征；
• 最后，将所有分支提取的长期特征在特征维度上拼接，得到最终的长期周期特征 。

首先使用GSDB对原始序列𝑋进行分解，得到周期初始数据$P^0$和趋势初始数据$T^0$。随后，利用PFEC模块迭代周期初始数据$P^0$和趋势初始数据$T^0$，得到最终的周期特征$P^2$和趋势特征$T^2$。 $P^{l+1}=PFEC(P^l,T^l)$可以表述如下：

3.1.1 图傅里叶块（GFB）

1. GFB的输入首先被投影到具有线性层的q中。然后，从时域转换到频域，将DFT运算应用于输入序列 q，，以获得频域表示Q
   • $\tilde{Q}=Select(F(q))$
2. 在执行DFT和所选操作之后，我们可以通过将其与复域空间滤波器SF和参数化核KR相乘来调制频谱。
   • ${\tilde{Q}}^{filter}=(\tilde{Q}\odot KR)\odot SF$
3. 最后，使用IDFT操作将调制频谱转换回时域,通过广播机制将真实的数域的可学习时间嵌入TE和空间嵌入SE结合起来，增强了模型训练的灵活性。
   • $P^{l,1}=F^{-1}({\tilde{Q}}^{filter})+SE+TE$

3.1.2 图序列分解块（GSDB）

为了使模型能够学习复杂的时间模式，使用分解方法将序列分离为周期和趋势分量，反映时间序列的季节趋势，使用移动平均线来平滑周期性波动并突出长期趋势。
$$\begin{gathered} X^{\prime }=AvgPool2D(Padding(X)) \\ {X}_{trend}=softmax(LN(X))\ast X^{\prime } \\ {X}_{season}=X-X_{t}rend \\ =>P_{1}T=GSDB(X) \end{gathered}$$
其中

• $X$:输入序列
• $X_{t}rend$:趋势分量
• $X_{season}$:周期分量
• $LN$:线性层

3.2 场景动态图模块(SDGM)

站间的空间相关性通常是高度动态的，并且空气污染物的扩散在不同的天气条件下是不同的，仅仅依赖于预定义的图使得难以捕捉时空图内复杂的动态空间相关性。因此，尝试引入动态图来增强预定义图。使用一个模块来将输入的时空图分类到不同的场景中，并采用场景表示进行进一步的图形矩阵学习，提出了SDGM。

1. 首先通过堆叠时空卷积和空间注意力（SA）机制来计算时空图的节点表示，提取节点特征的时间依赖。

2. 构建场景字典（字典中的每个原子表示一种典型的时空状态），从可学习的场景字典中选择最相似的场景矩阵。

3. 计算节点特征与场景原子的相似度，得到注意力分数，使用注意力分数对场景原子进行加权求和，得到节点的场景表示。

4. 最后，将节点的场景表示通过全连接层映射为邻接矩阵的组合系数，使用组合系数对预定义邻接矩阵进行加权求和，得到动态邻接矩阵SDG。对SDG矩阵进行掩码，并将其添加到预定义图中，得到动态模式图。

3.3时空特征提取组件（STEC)

为了提取短期的时空依赖关系，提出了STEC架构，其由五个部分组成：堆叠时间卷积网络（STCN）、并行图卷积网络（PGCN）、时间注意力（TA）机制、空间注意力（SA）机制和GateFusion层。STCN和PGCN被设计为学习短期时空特征，而SA和TA则致力于学习时间窗口内的时空相关性。为了获得时间依赖性和空间依赖性，我们分别使用STCN和TA，以及PGCN和SA。然后使用Gate Fusion层将两者组合以获得STEC最终的输出。

3.4 传输注意力模块(TransATT)

为了融合长期周期性特征和短期时空依赖性并为下一个STEC层生成输入，引入了一个新的注意力机制模块，称为TransATT机制。

1. 将长期特征通过线性变换得到Query矩阵，将短期特征通过线性变换得到Key矩阵和Value矩阵；
2. 对Query矩阵和Key矩阵进行离散傅里叶变换，将其映射到频域；
3. 在频域计算注意力分数矩阵 ；
4. 将注意力分数矩阵与Value矩阵相乘，得到频域上的上下文特征；
5. 对频域上下文特征进行逆离散傅里叶变换，将其映射回时域；
6. 将时域上下文特征通过残差连接和层归一化，得到最终的融合特征。

通过以上步骤，TransATT利用频域注意力机制实现了长短期特征的交互融合。频域上的注意力计算能够捕捉不同频率成分之间的依赖关系，有助于挖掘长短期特征的潜在关联。同时，通过残差连接和层归一化，TransATT能够有效地集成不同层次的特征信息，提升特征表示的质量。

3.5 网络总体框架简述

STHTNN的整体架构如图所示。STHTNN使用层次结构进行预测，从原始时间序列中提取长期周期性特征和短期时空依赖性。

1. 考虑到时空图的隐含周期性，首先将原始序列分解为周期性初始数据和趋势性初始数据。
2. 然后通过PFEC逐渐提取长期周期特征。为了模拟各种动态站点关系，包括空间距离、时间模式和功能相似性，该模型使用SDGM生成动态模式图。
3. STEC然后协助提取短期的时空依赖性，通过利用所生成的动态模式图。
4. 在获得一层的短期时空依赖性和长期周期性特征后，TransATT自适应地从两个特征中选择相关信息进行融合和交互。
5. 最后，一系列CNN和线性层用于最终回归，其应用降维以获得最终预测结果。

4. 文献解读

4.1 Introduction

现有的时空预测模型大多直接将原始时间序列输入神经网络，忽略了时间序列所具有的复杂多面性时间模式，包括周期性成分和趋势成分，而这些成分相比原始序列更能反映时间序列的长期性质。

现有基于图神经网络的空气质量预测方法，在构建图矩阵时往往只依赖预定义图来编码站点空间关系，忽略了时空图的动态性，且只关注捕获站点间单一类型关系，忽略了站点和多种类型连接之间的动态相关性，导致生成的图表缺乏动态性。

本文提出的STHTNN模型采用分层结构，分别对空气质量预测任务进行长期和短期建模，实现长短期特征的有效交互，模型主要包括:

• PFEC：通过离散傅立叶变换和序列分解，从时空图中捕获影响时间序列的长期周期特征。
• SDGM：通过堆叠时间卷积层、场景字典和矩阵学习器，为各种预定义图增加动态性，用于编码不同监测站之间多样化的动态空间关系。
• STEC：利用多种注意力机制和卷积层捕获短期时空依赖关系。
• TransATT：整合已提取的短期时空依赖关系和长期周期特征，使模型能够建立长短期隐藏信息的交互。

4.2 创新点

该文的主要贡献有四个方面：

1. 提出一种新的时空建模框架，采用分层结构对空气质量预测进行长短期建模，实现长短期特征的有效交互，且不局限于预定义图，对各领域具有更好的适应性。
2. 提出PFEC捕获时空图中的长期周期特征，结合序列分解、离散傅立叶变换和可训练核，有效滤除时空图中无关信息。实现了长期周期特征的自适应提取，克服了传统方法忽略时间序列多尺度周期性的局限。
3. 提出SDGM编码不同监测站之间多样化的动态空间关系，通过构建表征不同环境场景的字典，选择与节点特征最相似的场景矩阵来构建动态图，有助于STEC灵活捕获短期时空依赖关系。
4. 提出TransATT将注意力机制引入频域，通过频域传递实现跨层次的特征交互，有效地融合了长短期特征，提升了预测性能。

4.3 实验过程

数据集：研究以北京、天津和重庆三个城市为研究对象，分别位于中国的北方、中部和西南部。

• （1）北京数据集是一个公开可用的数据集，涵盖了中国北京市，从2018年1月1日到2021年1月1日，总共跨越了26280个时间步长。它包括来自34个观测站的数据，将70%的数据分配为训练集，20%作为测试集，其余部分作为验证集。

• （2）天津数据集包括来自中国天津市内27个站点的每小时连续采样数据。该数据集的时间范围为2014年5月1日至2015年5月1日，共计8760个时间步长，将数据集分为80%用于训练，10%用于测试，10%用于验证。

• （3）重庆数据集是一个新收集的数据集，涵盖了中国重庆市，从2021年1月1日到2023年1月1日，共跨越17520个时间步长，它包括来自28个观测站的数据。

评估指标：

该文采用MAE、均方根误差（RMSE）和平均绝对百分比误差（MAPE）与基线进行比较。基线模型包括LSTM 、TCN 、CNN-LSTM、STGCN 、GeoMAN、Graph Wavenet、ASTGCN 、STSGCN 、AGCRN 。

结果分析：

1. 性能分析实验

在三个数据集上比较了所提出的STHTNN与基线模型的性能，。STHTNN在单步和多步预测方面始终优于相应的基线模型，在三个数据集上，STHTNN的MAE性能平均提高了7.81%、9.45%和8.12%。

首先，STHTNN采用动态模式图来灵活地提取不同的场景模式，结合预定义的图来保留部分先验知识，同时编码增强的空间相关性，有效地解决了像CQ-2021数据集这样的稀疏站点的场景。其次，PFEC模块的引入使STHTNN能够通过趋势分解和傅立叶变换有效地捕捉时间序列的长期影响。最后，采用分层结构，使STHTNN融合长期趋势和短期的依赖关系，使用transATT，从而在长期和短期预测方案的上级预测性能。

2. 消融实验：验证了所提出的机制和模块的有效性

通过在三个数据集上比较STHTNN与STHTNN的四种变体来进行消融实验，以了解不同组件如何影响STHTNN的性能。分别删除PFEC模块、SDGM模块、STEC模块，TransATT模块。

通过比较所有数据集的不同图形配置来进行消融实验，以了解不同图形配置如何影响模型的性能。这四种变体为：消除了基于纬度和经度构建的空间模式图。消除了从DTW距离导出的时间模式图。消除了使用POI数据构建的功能模式图。省略Mask矩阵被，生成的SDG图直接添加到预定义的图中。本实验证明了多模式图可以有效地模拟各种站间关系，并有助于捕获空间特征。

实验表明:

1. SDGM通过融合动态场景信息，相比固定图更能刻画监测站间动态相关性，使预测性能获得提升。
2. PFEC能有效捕获长期周期特征，揭示空气质量时间序列的周期演变模式。
3. TransATT通过频域注意力实现长短期特征交互，使模型预测能力进一步增强。
4. STHTNN整体框架通过对比实验证明了分层建模的优越性，长短期分别建模再交互的策略比单一时空建模更有效。

5. 结论

该文提出了一种新颖的时空分层传输神经网络STHTNN。用于区域级别的空气质量预测。该模型采用分层框架。引入周期特征提取和时空依赖提取分别建模长短期时空演变模式。并设计频域传输注意力实现不同粒度特征交互。同时还通过场景动态图灵活刻。从时空数据挖掘的角度来看，该文献的研究具有以下几点启示：

1. 时空数据蕴含着丰富的时间模式，如周期性、趋势性等，挖掘这些模式有助于揭示事物的演变规律。本文通过序列分解和频域变换专门提取周期特征,为时空预测任务提供了新的思路。

2. 现实场景中事物之间往往存在多种关联，大多数研究依赖固定的关联图，缺乏对动态关联和多样化关联的考虑。本文通过场景动态图既融入了基于节点特征的动态性，又兼顾了基于多种因素的异构性，使关联建模更加全面和灵活。

3. 对于长期预测任务而言，目标变量受长期因素和短期因素的双重影响。传统方法往往对两类因素没有区分对待，本文通过分层建模和特征交互，实现了长短期影响的解耦和融合，提升了预测的精准性。

4. 传统深度学习模型大多基于时域建模，忽视了频域信息的作用。本文创新性地将频域变换融入注意力机制，通过频域传递实现跨层次特征交互，拓宽了时空表征学习的思路。

小结

该文提出了一种新颖的时空分层传输神经网络STHTNN。用于区域级别的空气质量预测。该模型采用分层框架。引入周期特征提取和时空依赖提取分别建模长短期时空演变模式。并设计频域传输注意力实现不同粒度特征交互。同时还通过场景动态图灵活刻。

参考文献

[1] Xiaoxia Chen, Hanzhong Xia, Min Wu, Yue Hu, Zhen Wang “Spatiotemporal hierarchical transmit neural network for regional-level air-quality prediction” [J], Knowledge-Based Systems Volume 289, 8 April 2024, 111555