[2021] Spatio-Temporal Graph Contrastive Learning

21-Spatio-Temporal Graph Contrastive Learning

郑宇、梁玉轩

1 摘要

深度学习模型是时空图(STG)预测的现代工具。尽管它们很有效，但它们需要大规模的数据集来获得更好的性能，并且容易受到噪声扰动。为了减轻这些限制，一个直观的想法是使用流行的’数据增强’和’对比学习’技术。然而，现有的图对比学习方法由于三个原因不能直接应用于STG预测。

1. 经验发现，预测任务无法从对比学习得到的预先训练的表征中获益。
2. 用于击败噪声的数据增强方法对STG数据的探索较少。
3. 忽略了样本的语义相似性。
   本文提出了一个’时空图对比学习框架(STGCL)'来解决这些问题。具体来说，我们通过将’预测损失’与’辅助对比损失’相结合来提高性能，而不是使用预先训练的范式来提高性能。我们详细介绍了四种类型的数据增强，它们在图结构、时域和频域方面干扰数据。我们还通过一种基于规则的策略来扩展经典的对比损失，从而过滤掉语义上最相似的负值。我们的框架通过三个真实世界的数据集和四个最先进的模型进行了评估。持续的改进表明，STGCL可以用作现有深度模型的现成插件。

2 介绍

部署大量的传感器来感知城市环境是建设智能城市的基础。由分布式传感器产生的分时变数据通常可以表示为时空图(STG)。利用生成的数据，一个重要的任务是根据历史观察来预测未来的趋势。这一问题的最新技术可以分为卷积神经网络(CNN)或基于循环神经网络(RNN)的方法，这取决于他们建模时间相关性的技术。为了捕捉空间相关性，这些方法主要使用流行的图神经网络(GNN)。

最近，一系列基于图的对比学习的方法被提出，并在无监督设置下的几个任务上取得了出色的表现。这些方法的共同思想是最大限度地提高具有相似语义（正例样本）的图元素表示之间的一致性，同时最小化具有不相关语义信息（负例样本）的图元素表示之间的一致性。对于应用数据增强的工作，通过应用图数据增强生成同一图的两个视图（称为锚），得到正例样本，在一批中锚和其他图的视图之间形成负例样本。这样就可以得到可推广化和鲁棒的表示。

在这项工作中，我们的目标是增强STG预测与一个辅助的对比学习任务。其原因有两个方面。首先，这一领域的公开数据集通常只有几个月的数据，这限制了可以构建的训练样本的数量。其次，传感器读数从来不完全准确，有时由于一些意想不到的因素，如信号中断(Yi等。2016)。通过使用数据增强和补充对比损失训练模型，我们能够提供额外的监督信号，并学习对干扰不变的高质量表示。然而，现有的图对比学习方法(如GraphCL）。由于以下挑战，不能直接应用于STG预测。

• 两步训练。根据图表示学习中典型的两阶段训练过程，首先用对比目标训练时空编码器，然后用未经训练的解码器对编码器进行线性评估或微调，以预测未来。然而，本文研究发现，这种图表示学习方法都比纯监督学习的方法表现得更差。结果表明，从对比目标学习到的预先训练的表征对预测任务没有什么好处，这与使用节点/图分类作为下游任务的情况不同。
• 在时空图领域缺少探索数据增强带来的效果。数据增强在对比学习方法中起着重要的作用，它们帮助模型学习不同类型和不同扰动水平下的稳定表示。然而，到目前为止，对STG的数据增强的探索较少。例如，STG数据的内在属性（特别是时间依赖性）在当前的图增强方法中没有被使用。
• 忽略样本的语义相似性。在图对比方法中，一个batch内的所有其他样本都被视为一个给定样本的负例样本。这在STG中可能不合理，因为STG预测中的样本之间存在内在的关系，如时间维度的临近性和周期性。图4显示了一个例子：周一早上6点到7点的样本（模式）与周二的同一时间段非常相似，这表明了周期性。在这种情况下，不适合将这两个语义上相似的样本设置为负例样本，即不需要分开它们的表示。因此，我们需要一种能够有效地识别负例样本的方法。

为了解决上述挑战，本文提出了一种名为时空图对比学习(STGCL)的新框架。基于STG的独特特性，对现有的图对比学习进行了三大改进。

• 首先，我们通过将原始预测损失与对比损失叠加来提高模型的性能，而不是依赖于两个单独的阶段。
• 此外，为了构造正例样本，我们设计了四种从图结构、时域和频域三个方面干扰输入数据增强方法。
• 此外，对于负例样本，我们设计了一种基于规则的策略，通过考虑STG中的时间依赖性（接近性和周期性），来过滤掉最难的负例样本，即语义中最相似的样本。换句话说，我们在计算对比损失时排除了这些类似的样本。我们的贡献总结如下：
• 我们提出了一个新的STGCL框架，它将对比学习与STG预测相结合，以包含准确性和鲁棒性。它可以很容易地作为现有时空模型的插件。
• 通过充分考虑STG的独特特性，我们设计了四种类型的数据增强方法，并提出过滤掉每个锚点最难的负值，从而导致对比损失的扩展。
• 我们评估了跨不同类型的流量数据集和不同类型的模型(基于CNNs和基于RNN)的STGCL。结果表明，STGCL取得了一致的改进，而对长期预测的改进更大。

3 前言

3.1 时空图预测

3.2 图对比学习

图对比表示学习的目标是学习一个GNN编码器，它可以从输入中提取有用的图的表示。一个典型的图对比学习框架的工作如下：对于输入图，采用随机数据增强方法生成两个相关视图，然后将这些视图通过一个GNN编码器网络和一个读出函数进行传播，得到两个高级图表示。一个名为“投影头”的非线性变换进一步将图表示映射到另一个潜在空间，在那里计算对比损失。
在训练过程中，通过上述过程对一批M个图进行采样和处理，共得到2M个表示。设zni、znj表示一批图中第n个图中的两个相关视图，sim(zni、znj)表示它们之间的余弦相似性。在GraphCL中应用的对比损失是InfoNCE损失的一种变体，定义为：

$${\mathcal{L}}_n=-log{\sum }_{n^{\prime }=1,n^{\prime }\ne n}^M(exp(sim(Z_n$$