Automated Spatio-Temporal Graph Contrastive Learning

这篇文献探讨了时空图学习模型，尤其是在噪声数据和异质性分布问题下的表现。现有的基于图的区域嵌入方法利用图神经网络来捕捉空间相关性，然而，它们在面对时空数据中的数据噪声、不完整性，以及数据在时间和空间维度上的分布异质性时表现不佳。
本文提出了一个自动化时空图对比学习框架（AutoST），解决了多视角异质图生成中区域依赖关系建模的难题，增强了图神经网络模型的鲁棒性和泛化能力。
这个模型能够更好地处理数据中的噪声和分布差异问题，并在多个时空任务上取得了显著的性能提升。

模型结构 METHODOLOGY

AutoST 模型的结构包括以下几个主要部分：

1. POI 语境嵌入层：这一层通过Skip-gram模型将区域的兴趣点（POI）信息嵌入到向量表示中，捕捉区域的功能语义。通过自注意力机制捕捉区域之间的相互作用。

2. 时空异质图神经网络（GNN）：AutoST 构建了多视角区域图，包括基于 POI、用户移动轨迹和地理距离的三种视角的图。时空异质 GNN 通过消息传递机制，捕捉区域间的依赖关系，并结合不同视角的数据进行嵌入。

3. 自动化对比视图生成器：通过变分图自动编码器（VGAE）生成对比学习的增强视图。通过为原始图的低维表示添加高斯噪声，生成新的图结构用于对比学习。

4. 对比学习模块：通过生成不同的图视图，使用自监督信号优化模型。在信息瓶颈和对比损失的约束下，增强模型对数据噪声和异质分布的鲁棒性

POI 语境嵌入层的详细介绍

POI（Point-of-Interest）语境嵌入层主要用于将区域的兴趣点信息嵌入到模型的低维空间中，以捕捉区域的功能信息。该层设计旨在反映不同区域的POI（如餐厅、酒店、学校等）分布，并通过神经网络进一步处理这些嵌入，从而反映区域的潜在语义关系。

POI指的是一个类别比如餐馆，学校，而Pi,c表示第i个区域里面c类别的建筑的数量，比如在一个区域里有5个餐馆，Pi,c = 5

因为c的维度可能很大，所以需要用到Skip-gram来实现低维表示
skip-gram 模型通过输入 POI 分布，学习并生成能够反映区域功能语义的嵌入向量
识别区域之间的功能相似性。例如，两个具有类似餐馆、学校和公园分布的区域，它们的嵌入向量会比较接近

 多头注意力机制

 多头注意力机制通过并行使用多个不同的注意力头来捕捉输入向量之间的不同关系。每个注意力头在计算时使用一组独立的查询、键、值矩阵，从而可以在不同的“注意力维度”上进行计算。然后将这些头的输出连接起来，进行线性变换，得到最终的输出。

直观解释：

可以把注意力头类比为多个专家，每个专家有不同的专长，虽然他们都能查看整个输入，但他们擅长关注不同的细节：

• 专家A可能更擅长理解长距离的关联，比如在一个句子里如何连接主语和动词。
• 专家B可能更擅长处理局部的细节，比如理解修饰语与名词的关系。
• 当所有这些专家的意见被结合在一起时，我们可以从多个角度得到对输入的更全面的理解。

因为权重矩阵一开始是随机初始化的，所以能够学习到不同的模式和关系。

为什么计算ai,j     i向量和其他向量j之间的注意力权重

在自注意力机制中，计算向量 i 与其他向量之间的注意力权重，是为了让模型能够根据输入序列中每个元素与其他元素的相关性，对不同元素赋予不同的关注程度。这种计算方式使得模型可以动态调整输入中每个元素对最终表示的贡献，进而捕捉全局依赖关系和长距离信息。
 

3.2 时空异构图神经网络

论文提出了一种异构时空图神经网络来全面捕捉不同视角下的区域依赖关系，例如区域功能、交通流和空间位置等。在城市场景中，AutoST首先旨在建模不同区域在各自表示视角下的依赖关系。另一个关键维度是揭示特定区域的视图特定嵌入之间的相互关联。例如，区域的POI信息和交通流之间的隐式依赖关系在城市空间中无处不在。为此，在区域图编码器中，消息传递过程在构建的多视图区域图上执行intra-view和inter-view。

 

图的整合与训练方式

在训练过程中，三个视图的区域图（GpGp​、GmGm​ 和 GdGd​）先分别计算intra-view再整合在一起进行训练inter-view。通过这种方式，模型能够同时利用不同视图的信息，增强对区域间复杂依赖关系的建模能力。

加入高斯噪声是为了生成对比视图