时间序列预测ST-GSP

ST-GSP: Spatial-Temporal Global Semantic Representation Learning for Urban Flow Prediction阅读笔记

---

摘要

城市流量预测在公共交通管理和智能城市建设中发挥着至关重要的作用。以往的研究存在以下缺点：
（1）一般的模型没有考虑时间轴的相对位置信息，导致流量图的位置特征不能被学习到；
（2）常常忽略不同尺度的时间依赖关系，导致不准确的全局信息表示；
（3）这些模型仅仅预测最后时间序列的流图而不是更多的流图，从而忽略了学习过程中的部分时间特征。

于是本文提出方法解决这些缺点，提出一个新的模型ST-GSP。
对于（1），作者设计了一个语义流编码器，用于提取时间上的相关位置信息。此外，这个编码器还能捕获每个时间间隔内城市流图的空间依赖和外部影响因素。
对于（2），作者通过采用多头自注意力机制，建模不同尺度下的时间依赖性之间的相关性，同时学习到全局的时间依赖性。
对于（3），文中将一个时间序列上的城市流图给掩蔽住，然后预测训练出一个深度双向预训练模型，捕获上下文的表示。
最后在北京和纽约城市流量进行实验，验证所提方法优于最先进的方法。

`

一、方法

在时间依赖上通常会分为三个尺度：邻近性(closseness)、周期性(period)、趋势性(trend)。邻近性交通流指依赖最近的时间间隔，比如预测9点的交通流，可以采用6、7、8点的数据进行预测。周期性指一些交通状况与连续工作日的数据相近，如预测9点的交通量，可以取一天前的9点数据或一星期前9点的数据。趋势性表示一些交通状况与天气等外部因素的影响。如图所示。

本文设计的模型分为三个部分：语义流编码器、transformer编码器、融合过程。

1. 语义流编码器

负责捕获空间依赖性和外部因素的影响。内部构造为两个主要的组件：残差网络（ResNet）和多层感知机（MLP），如上图右侧所示。
残差网络可以捕获每个地区的空间依赖，每个残差单元由两层卷积层组成，将输入放入卷积层提取空间依赖：

多层感知机用来提取外部影响因素的特征：

随后，将提取的特征进行相加融合，以及残差连接，最后经过一个卷积层与全连接层：


通过输入三个尺度的时间依赖closseness、period、trend，经过语义流编码器提取出三个语义流嵌入向量。

2. Transformer Encoder

提出用多层双向transformer编码器去学习跨时间尺度的任何两个时间间隔间的关系。其由两部分组成：多头注意力机制（MSA）、多层感知机（MLP）。

3. 融合

由两部分组成：全连接层、多层感知机。

二、实验

在实验中，首先在两个现实世界中进行了实验，在不同城市中具有不同类型的流量，以评估模型的性能。 其次，我们进行了融化，以证明我们模型中每个组件的有效性。 第三，研究超参数如何影响模型的性能。 最后，我们说明了跨形式编码器的一些注意力矩阵，以解释全球时间层状的有效性。 模型的代码实现已发布在github。
详细介绍一下注意力矩阵说明了哪些问题。

可以从注意力热图中看出：
①每个时间点的注意力矩阵不同，表明transformer编码器可以模拟动态的全局依赖性；
②F_pre在每个时间点中的权重总是最大，说明可学习的嵌入学习到了预测流图的表示；
③F_pre对closseness,period,trend的注意力权重在每个注意力头上是不同的，所以transformer编码器共同关注来自不同表示子空间的信息。

总结

文章提出了一个新颖的城市流动预测，模型符合城市流动预测（ST-GSP）的时空全球语义表示学习。 ST-GSP采用设计的语义流编码器结构，将空间相关性信息与外部因素的语义信息集成在一起，以产生嵌入器的嵌入。 与现有的城市流前期方法相反，此模型显式地对不同量表的量表依赖性之间的相关性进行了建模，以提取全局时间造成依赖性。 此外，本文设计了一个简单的融合策略，以融入学到的流动表示和预测目标的外部因素。 最后，为了进一步提高变压器编码器的代表性能力，方法中介绍了自我监督的学习。 通过在两个公开数据集上的广泛实验，我们验证了ST-GSP伪造流预测的有效性。以上就是本篇论文的具体阐述。