自动时空图对比学习

gao00013

已于 2023-12-22 08:08:16 修改

阅读量1k

点赞数 16

文章标签：学习

于 2023-12-12 11:14:54 首次发布

本文链接：https://blog.csdn.net/gao00013/article/details/134865735

版权

WWW2023

摘要

在各种区域嵌入方法中，基于图的区域关系学习模型因其具有较强的结构表示能力，可以用图神经网络编码空间相关性而脱颖而出。尽管它们很有效，但现有方法尚未很好地解决几个关键挑战:1)由于各种因素，数据噪声和缺失在许多时空情景中普遍存在。2)输入的时空数据(如流动性轨迹)通常表现出时空分布的异质性。在这种情况下，当前的方法容易受到生成的区域图质量的影响，这可能导致次优性能。在本文中，我们通过在多视图数据源生成的异构区域图上探索自动时空图对比学习范式(AutoST)来解决上述挑战。我们的AutoST框架建立在异构图神经架构上，以捕获关于POI语义、移动流模式和地理位置的多视图区域依赖关系。为了提高我们的GNN编码器对数据噪声和分布问题的鲁棒性，我们设计了一个带有参数化对比视图生成器的自动时空增强方案。AutoST可以很好地适应时空异构图，并保留了多视图语义。在几个真实数据集上对三个下游时空挖掘任务进行了广泛的实验，证明了我们的AutoST在各种基线上实现了显着的性能提升。

1 介绍

随着遥感技术和大规模计算基础设施的进步，智能交通[22]、环境科学[18]、公共安全[5]等各个领域正在以前所未有的规模收集不同类型的时空数据。如此多样的时空数据推动了对各种城市传感应用的有效时空预测框架的需求，如交通分析[28]、人类移动行为建模[15]和全市犯罪预测[8]。例如，在构建机器学习和大数据驱动的智能城市的机会的激励下，发现的人类轨迹模式可以帮助制定更好的城市规划机制[3]，或者了解犯罪发生的动态有助于降低犯罪率[12,26]。

为了应对城市感知场景中的挑战，许多人致力于开发区域表示学习技术，研究如何从地理数据集中学习时空维度的复杂区域依赖结构。这些区域嵌入方法可以从收集的时空数据中自动发现不同区域之间的空间关系，而不是手工提取区域特征设计。在各种区域表示方法中，基于图的学习模型因其对基于图的区域关系具有较强的特征表示有效性而脱颖而出。在这方面，图神经网络(Graph Neural Networks, gnn)已被用作一种强大的建模方案，用于聚合复杂的关系信息以及图连接。具体来说，这些方法的灵感来自于图自动编码器(GAE)和图注意力网络，通过遵循图结构的消息传递来进行邻域特征聚合。尽管现有的区域代表性方法是有效的，但我们确定了在以前的工作中没有很好地解决的两个关键挑战。

数据噪声和不完整性 由于各种因素(如设备部署成本高，或传感器故障)，数据噪声和不完整性在收集的时空数据中普遍存在。也就是说，对于基于图的表示方法，预生成的空间图通常包含带有噪声的信息连接区域之间的弱依赖性。例如，由于城市中不同的区域功能，一个区域可能与其所有邻近区域没有很强的相关性。因此，直接在生成的空间图上聚合时空信息以及不太相关的区域连接将涉及下游时空挖掘应用(例如，犯罪预测，交通分析)的任务无关噪声信号。

时空分布异质性 当前区域图构建方法中使用的时空数据(如人员流动流量)可能在空间和时间维度上表现出分布异质性。这种数据分布的异构性影响了当前神经网络模型的表示能力，导致区域表示性能不理想。为了更好地理解城市空间中不同区域的倾斜数据分布，我们在图1中展示了纽约市和芝加哥的人口流动轨迹分布。在这些图中，可以观察到不同地理区域的人口流动数据分布的多样性，这给基于流动轨迹生成准确的区域图连接以反映复杂的空间相关性带来了挑战。

图1:2016年10月纽约和芝加哥具有时空分布异质性的轨迹数据

最近，在计算机视觉、自然语言处理和网络嵌入的各种任务中，一系列基于对比的自监督学习(SSL)方法在解决数据噪声和标签短缺问题方面取得了突出的表现。对比学习的核心思想是通过

i)缩短向量表示空间中正样例与锚样例之间的距离来生成增强SSL信号;

Ii)拉大负例和锚例之间的距离

此外，城市数据场景下的时空数据分布还受到区域功能、环境属性、时变交通流等异质外部因素的影响。这些不同的数据集在本质上是多视图的。每个数据维度对应于特定于视图的特征和语义。因此，如何有效地将这些异构数据源整合到区域表示框架中，并融合来自不同观点的知识，仍然是一个重大挑战。

鉴于上述动机和挑战，我们提出了一种自动时空图对比学习(AutoST)范式，以在城市感知场景中使用多视图时空数据提供有效和鲁棒的区域表示。具体而言，首先引入时空异构图神经编码器，通过捕获视图内和视图间数据相关性的区域依赖关系来建模时空模式。在我们的自监督学习范式中，编码的多视图区域嵌入将作为我们的增强模式的指导，以自动提取城市空间中所有区域的异构依赖关系。我们的图对比学习组件不仅增强了隐式跨区域关系的学习过程，而且在有效地自适应地吸收辅助自监督信号方面发挥了重要作用。从概念上讲，我们的AutoST在自动发现有用的时空SSL信号以实现更有效的数据增强方面优于现有的图对比学习方法。目前的一些方法直接利用随机掩码操作，这可能会丢失一些有用的图连接，并且仍然容易受到噪声干扰。

我们强调这项工作的主要贡献如下:

•一般方面。我们强调了在时空图学习任务中共同解决数据噪声和分布异质性挑战的重要性。为此，我们将对比学习的优势引入到自动提取自监督信号的区域表示中，以增强我们的时空异构图神经结构的鲁棒性和泛化能力。

•方法。我们首先设计了时空异构图神经网络，通过对各种时空因素的建模，同时捕获视图内和视图间区域的依赖关系。为了解决数据噪声和分布多样性问题，我们在区域依赖图上进行了时空对比学习，以实现自动数据增强。我们的自动对比学习框架建立在变分时空图自编码器和我们设计的参数化区域依赖学习器的基础上。

•实验结果。我们通过与不同的区域表示和图神经网络基线竞争，在不同的时空挖掘任务中验证了我们的AutoST。

2 PRELIMINARIES

将整个城市区域划分为 $I$ (以 $i$ 为索引)地理区域。为了将每个区域嵌入到潜在表示空间中，考虑从以前的 $T$ 时间槽(例如，天)(由 $t$ 索引)生成的三种类型的时空数据源作为模型输入，这些数据源用以下定义进行了阐述:

定义1。区域利益点(POIs)矩阵 $P$ 。在城市空间中，兴趣点信息通过参考不同类别的地理场所来描述区域功能，例如餐厅、酒店、医疗中心和旅游景点。我们定义一个POI矩阵 $P\in R^{I \times C}$ ，其中 $C$ 表示POI类别的个数。在这项工作中，分别在纽约市和芝加哥使用50和130个POI类别来生成矩阵 $P$ 。 $P$ 中的每个元素 $p_{i,c}$ 表示位于区域 $r_i$ 中具有第 $c$ 类poi的位置的数量。给定生成的 $P$ ，我们可以将每个区域 $r_i$ 与POI向量 $P_i\in R^{1 \times C}$ 联系起来。

定义2。用户移动轨迹 $M$ 。为了用人类移动数据反映城市动态，我们收集了一组用户移动轨迹来记录人类的运动。特别地，每个轨迹记录的格式为( $r_s,r_d,t_s,t_d$ )，其中 $r_s$ 和 $r_d$ 表示该轨迹的源区域和目标区域。 $t_s$ 和 $t_d$ 分别表示此轨迹的开始和结束时间戳。

定义3。基于区域的地理距离矩阵 $D$ 。我们进一步定义地理距离矩阵 $D \in R^{I \times I}$ ，以区域的中心坐标(经纬度)表示城市空间空间中每对区域(如 $r_i$ 和 $r_{i'}$ )之间的地理距离。

问题陈述:我们的时空图学习任务是:

输入:给定POI矩阵 $P\in R^{I \times C}$ ，用户移动轨迹集合 $M$ ，地理距离矩阵 $D \in R^{I \times I}$ 。

输出:我们的目标是学习一个映射函数 $f:r_i\rightarrow R^d$ ，它将每个区域 $r_i$ 编码成一个维数为 $d$ 的低维嵌入。嵌入空间可以很好地保留不同区域和时隙之间的时空依赖关系，有利于各种城市传感应用(如交通预测、犯罪预测)。

3 方法

在本节中，我们将介绍AutoST框架的技术细节。整个模型体系结构如图2所示。

图2:使用自动时空图对比学习的AutoST区域表示模型的架构。

3.1 POI上下文嵌入层

为了将兴趣点上下文编码为区域嵌入，我们设计了一个兴趣点上下文嵌入层，将区域功能信息反映到潜在表示空间中。在使用Skip-gram嵌入POI令牌的激励下，我们将特定区域的POI向量馈送到Skip-gram模型中进行POI上下文嵌入。之后，我们连接特定区域的POI嵌入并生成POI感知表示: $\bar{E}$ = MLP(Skip-gram( $P$ ))。在这里，我们采用多层感知器来进行嵌入投影。 $E \in R^{I \times d}$ 表示所有区域的嵌入表，其中 $d$ 为隐藏维数。每个区域的嵌入 $e_i$ 将特定区域的POI上下文信息保留到潜在语义空间中。为了赋予POI嵌入层区域交互的建模能力，我们进一步设计了基于区域的自关注机制:

式中，个数 $V^h,Q^h,K^h \in R^{d/H \times d}$ 分别为第 $h$ 注意头的值变换、查询变换和键变换。 $H$ 表示头的， $||$ 表示连接 $H$ 向量。使用softmax函数 $\delta$ (·)。在我们的自关注层中，区域 $r_i$ 和 $r_j$ 之间的成对交互可以在嵌入 $e_i$ 中捕获到关于区域的POI语义。

3.2时空异构图神经网络

为了从区域功能、交通流和空间位置等不同角度全面捕捉动态区域依赖关系，我们提出了一种异构时空GNN。在城市范围的场景中，我们的AutoST首先以个体表示视图的形式对不同区域之间的依赖关系进行建模。除了跨区域关系建模的重要性之外，另一个关键维度是揭示特定区域的特定视图嵌入之间的相互关系。例如，POI信息与区域交通流之间的隐式依赖关系在城市空间中无处不在。为此，在我们的区域图编码器中，视图内和视图间的消息传递都是在构建的多视图区域图上执行的。

3.2.1 具有多视图关系的异构区域图。

通过集成三个特定于视图的区域图，我们生成了具有多类型数据视图的异构区域图:

•poi感知区域图 $G_p$ 。我们用先前编码的兴趣点区域嵌入 $e_i(1\leq i\leq I)$ 构造一个区域图 $G_p$ 。具体来说，如果两个区域嵌入 $e_i$ 和 $e_j$ 之间的相似性大于阈值 $\epsilon ^p$ ，则在图 $G_p$ 中存在一条连接区域节点 $r_i$ 和 $r_j$ 的边。在这里，使用余弦函数来度量嵌入相似度。

•基于轨迹的区域图 $G_m$ 。除了固定的POI信息外，我们还利用具有时间意识的人类移动轨迹来关联区域，以反映城市随时间的流动动态。我们将每个区域 $r_i$ 分解为 $T$ 时隙特定的区域节点( $r_i^t$ )。特别地，给定移动轨迹记录( $r_s,r_d,t_s,t_d$ )，在 $t_s$ 时隙内的源区域 $r_d^{t_s}$ 和在 $t_d$ 时隙内的目的区域 $r_d^{t_d}$ 将被一个边连接起来。

•基于距离的区域图 $G_d$ 。为了将地理位置信息注入到图形编码器中，我们通过根据其坐标估计的地理距离连接区域来生成基于距离的区域图 $G_d$ 。具体来说，如果区域 $r_i$ 和 $r_j$ 的距离小于阈值 $\epsilon ^d$ ，则在它们之间添加一条边。

异质区域图构造。给定上述特定于视图的区域图 $G_p$ ， $G_m$ 和 $G_m$ ，我们构建异构区域图 $G$ 来实现跨视图区域连接和区域时间自区分连接。

3.2.2关系感知消息传递范式

为了捕获基于不同类型时空数据的视图内和视图间区域依赖关系，AutoST在异构区域图 $G$ 上进行消息传递以进行区域嵌入。在不失去一般性的前提下，我们将关系感知的消息与时空连接正式表示如下:

其中， $N_i^\gamma$ 表示区域 $r_i$ 通过关系 $\gamma (\gamma \in \Gamma )$ 的邻居索引集。 $\Gamma$ 是关系集。 $h_i^{(l)},h_j^{(l-1)} \in R^d$ 代表的嵌入向量第 $i$ 地区顶点第 $l$ 图形层和第 $j$ 区域的顶点第 $(l-1)$ 图神经层,分别。这里， $h_i^{(0)}$ 初始化为由Eq 1导出的 $e_i$ 。 $\sigma$ (·)为ReLU激活函数。 $\alpha_{i,\gamma }\in R^{{d \times d}}$ 表示区域顶点对 $(r_i,r_j)$ 的归一化权值，用顶点的度数计算。 $W_\gamma ^{(l-1)}\in R^{d \times d}$ 表示第 $(l-1)$ 迭代的学习权值。为了充分利用从多跳邻域中收集到的信息，AutoST将多阶嵌入聚合在一起。cross-view信息传递过程以矩阵形式给出如下图所示:

其中 $H\in R^{|V |\times d}$ 为嵌入矩阵，其行为区域嵌入向量 $h_i$ 。 $L$ 是图迭代的次数。

$A\in R^{|V |\times |V |}$ 表示具有自环的邻矩阵。 $D\in R^{|V |\times |V |}$ 为对应的对角度矩阵。

3.3时空GCL

在这项工作中，AutoST专注于利用时空图对比学习范式来解决数据噪声和分布异质性的挑战。具体而言，我们的异构时空多视图图神经网络可能对构建的多视图区域图 $G$ 的质量敏感，而消息传递方案容易聚集噪声信息，影响了时空表示质量。例如，一个区域可能与另一个区域相连，但距离近，但区域功能不同，如购物中心和住宅区。因此，在图 $G$ 中聚合不相关相邻节点的信息会影响区域嵌入质量，降低表示性能。

受图对比学习(graph contrast learning, GCL)的启发，提出了一种自动生成用于时空数据增强的对比视图的方法。利用所设计的GCL原理，通过在多视图区域图上加入自动自监督信号，可以缓解图连接噪声问题。在我们的AutoST中，我们开发了一个变分图自编码器作为增强的图结构生成器。

3.3.1变分图编码器。

AutoST采用了随机游走的变分图自动编码器(VGAE)进行数据增强，因为VGAE在考虑数据分布进行重建方面的优势。首先，VGAE模块学习编码映射 $G\rightarrow R^{|V| \times d}$ ，以捕获低维节点嵌入 $H \in R^{|V| \times d}$ 中的层次图结构，如Eq 3所定义。然后，AutoST通过向低维图表示(即编码的节点嵌入)添加高斯噪声，在原始图空间中生成对比视图，形式为: $\tilde{H}=\Gamma \cdot MLP_{std}(H)+MLP_{mean}(H)$ ，其中 $\tilde{H}\in R^{|V| \times d}$ 是生成的图视图的表示。 $\Gamma \in R^{|V| \times d}$ 表示噪声矩阵，其元素 $\gamma \sim Gaussian(\mu ,\sigma )$ ，其中 $\mu$ 和 $\sigma$ 表示均值和标准差的超参数。为了实现可学习的视图生成，AutoST使用具有可训练参数的两层MLPs(即 $MLP_{mean}(\cdot )$ 和 $MLP_{std}(\cdot )$ 来计算 $H$ 的均值和标准差。)

3.3.2自动生成对比视图。

使用为图结构生成的表示，AutoST然后通过元素积和MLP计算每个节点对生成视图的抽样分数。在形式上，对于索引为 $i$ 和 $j$ 的节点，采样分数 $p_{i,j}\in R$ 由以下公式计算: $p_{i,j}=MLP(\tilde{h}_i\odot \tilde{h}_j)$ ，其中⊙表示元素智能积。 $\tilde{h}_i,\tilde{h}_j\in R^d$ 为嵌入矩阵 $\tilde{H}$ 的 $i$ 行和 $j$ 行。所有节点对的概率得分 $p_{i,j}$ 组成一个采样矩阵 $P\in R^{|V |\times |V |}$ 。接下来，AutoST稀疏化该矩阵以获得描述生成的图视图的图结构的二进制相邻矩阵，如 $\tilde{P}=\left \{ \tilde{p}_{i,j} \right \}$ ，其中 $\tilde{p}_{i,j}=0$ 如果 ${p}_{i,j}< \epsilon$ 或者 ${p}_{i,j}=1$ 。 $\epsilon$ 是threshold的超参数。这里， $\tilde{P}$ 是由变分图编码器给出的解码图。为了有效地进行图CL，我们在解码后的图上应用随机漫步算法，生成节点和边较少的子图作为对比视图。具体来说，对于双视图生成，AutoST使用两个具有相同架构但不共享参数的VGAE模块，针对两种不同的对比视图。解码器生成两个图，随机漫步器在此基础上使用相同的种子节点集生成子图。形式上，对于两种自适应对比表示视图，增广多视图图用 $G_1',G_2'$ 表示。与最近使用随机增强算子(例如，边缘扰动，边缘掩蔽和节点下降)的图对比学习模型不同，我们使用可学习区域依赖来增强时空图学习。因此，我们的AutoST通过自适应提供辅助SSL信号来增强区域表示的鲁棒性

3.3.3增强对比目标优化。

随机对比视图生成方法不可避免地会丢失重要的结构信息，不能有效缓解数据分布的噪声和偏斜所带来的副作用。为此，AutoST的视图生成使用参数化(即 $MLP_{mean}$ 和 $MLP_{std}$ )编码器-解码器架构进行增强，因此可以根据对比增强进行调整。

为了训练可学习的VGAE，我们对生成的视图计算基于对比的奖励，并将其与VGAE的重建损失相结合。具体来说，图采样的优化目标可以形式化为:

其中 $\theta _1$ ， $\theta _2$ 表示对比视图的两个图采样器的可学习参数。 $R(G,\theta _1,\theta _2)$ 表示基于互信息最大化和最小化的奖励函数。 $L_{Rec}(\cdot )$ 表示VGAE的重建损失，它优化模型，从压缩的低维嵌入中重建节点连接和边缘相关特征。

分配奖励的原则是，当CL损失很大时返回更大的值，在这种情况下，视图生成器已经识别出具有挑战性的对比样本。当CL损失很小时，奖励函数应该返回较小的值，以表明生成的视图存在缺陷。AutoST没有直接使用CL损失作为奖励，而是通过最小化上述两种情况之间的相互信息，进一步扩大了奖励值之间的差异。根据信息最小化(Information Minimization, InfoMin)，奖励函数定义为如下不连续函数

其中 $\epsilon '$ 为阈值的超参数， $\xi$ 为预选的小值。 $L(G,\theta _1,\theta _2)$ 表示对比损失函数，后面会详细说明。为了增强我们的对比学习，我们进一步纳入了奖励信号的另一个维度，如下所示:

具体而言，AutoST分别对两个视图(即 $G_1',G_2'$ )中的子图样本进行异构图编码(Eq 3): $H_1'=HGNN(G_1')$ ， $H_2'=HGNN(G_2')$ ，其中 $HGNN(\cdot )$ 表示异构图神经网络。 $H_1' \in R^{|V_1'| \times d}$ ， $H_2' \in R^{|V_2'| \times d}$ 表示生成的节点嵌入矩阵，其中 $V_1'$ 和 $V_2'$ 分别表示生成的两个视图。 $R(G,\theta_1,\theta_2)$ 最后定义 $R(G,\theta_1,\theta_2)=w_1R_1(G,\theta_1,\theta_2)+(1-w_1)R_2(G,\theta_1,\theta_2)$ 。

Eq 4中的重构损失 $L_{Rec}(\cdot )$ 是通过最小化重构图信息与原始图的差异来计算的。具体而言,重建边缘,AutoST最小化损失: $L_{Rec}(G,\theta )=-\sum _{(i,j)\in\varepsilon }log(sigm(p_{i,j}))-\sum _{(i,j)\notin \varepsilon }log(1-sigm(p_{i,j}))$ 。 $sigm(\cdot )$ 为sigmoid函数。 $p_{i,j}$ 为边( $i,j$ )的非二值抽样得分。

3.4对比学习的模型训练

我们的AutoST旨在通过使用自监督学习任务对模型进行预训练，从而获得高质量的区域嵌入。AutoST的优化目标可以表述为:

其中 $L$ 表示自监督损失，由InfoNCE损失[16]LNCE和信息瓶颈(InfoBN) LBN两项组成。这两项由标量超参数 $\beta$ 来平衡。InfoNCE是一种常用的对比学习目标，它拉近两个不同视图中同一实体的表示，并推开两个视图中不同实体的嵌入。基于嵌入 $H_1'$ 和 $H_2'$ , InfoNCE项的正式定义为

其中 $\tau$ 为温度系数。 $H'(i)\in R^d$ 表示第 $i$ 行嵌入向量。在这里，我们使用余弦相似度来度量不同表示之间的距离。只有图视图 $G_1$ 和 $G_2$ 中的节点参与这个损失函数。

信息瓶颈的存在进一步增强了AutoST的自监督学习能力，从两个角度进一步降低了嵌入的冗余度。具体来说，InfoBN为这两种视图都生成低维表示，并将原始对比视图与其对应表示之间的相互信息最小化。形式上，InfoBN是为了最小化以下损失:

(8)式中， $H_1'' \in R^{|V_1|\times d}$ ， $H_2'' \in R^{|V_2|\times d}$ 表示相应的新生成视图。这种InfoBN正则化通过将两个视图与随机增强的表示进行对比，减少了两个视图中的多余信息

4 评价

评估是为了回答以下研究问题:

•RQ1。在不同的时空学习应用中，AutoST与不同的基线相比表现如何?

•RQ2。不同的数据视图和对比学习组件如何影响区域表示性能?

•RQ3。我们的AutoST在具有不同数据稀疏度的区域的表示学习中表现如何?

•RQ4。通过学习表征跨区域的时空依赖建模有什么好处?

•RQ5。不同的超参数设置如何影响AutoST的区域表示性能?(附录部分)

4.1实验设置

4.1.1数据集与协议

我们对AutoST框架在三个时空挖掘任务上进行了评估，即犯罪预测、交通流量预测、房价预测，并收集了来自芝加哥和纽约的几个真实数据集。芝加哥(盗窃、殴打、攻击、损害)和纽约(入室盗窃、盗窃、抢劫、攻击)数据集中包括了不同类型的犯罪。在附录部分，我们给出了详细的数据描述，并总结了表5中的数据统计。我们采用MAE、MAPE和RMSE三种常用的评价指标来衡量城市犯罪、城市交通流量和区域房价预测任务的准确性。

4.1.2比较基线。

图的表示方法如下:

•Node2vec。利用基于随机行走的跳跃图模型对嵌入节点进行图结构信息编码是一种具有代表性的网络嵌入方法。

•GCN。图卷积网络是一种具有代表性的GNN架构，用于在相邻节点之间执行基于卷积的消息传递。

•GraphSage。它可以从采样的子图结构中进行信息聚合，从而提高图神经网络的计算和内存开销。

•gae。图自编码器以输入重构为目标，将节点映射到潜在嵌入空间。

•gat。图注意网络通过区分相邻节点之间的关联度进行传播，增强了图神经网络的识别能力。

SOTA区域表示方法:

•poi。它是一种利用POI属性来表示空间区域的基线方法。TF-IDF算法用于确定POI向量上区域之间的相关性。

• HDGE 。它是一种区域表示方法，只依赖于人的移动轨迹来编码从构建的静止流图中嵌入的每个区域。

•ZE-Mob。该方法探索了共现模式，从出租车轨迹和人类流动轨迹两方面对地理区域之间的关系进行了建模。

•mv-pn。它通过考虑POI和人类移动数据对区域进行表示学习。在区域嵌入中保留功能接近度。

•cgal。这是一种基于构造的POI和迁移图对区域嵌入进行编码的无监督方法。

采用对抗学习来整合区域内结构和区域间依赖关系

•mvure。该模型首先根据区域地理属性和用户移动轨迹捕获区域相关性。

•MGFN[30]。这是最近提出的一种区域表示方法，它通过构造迁移图来进行信息传递，从而生成区域嵌入。

犯罪和交通预测的骨干模型。

我们选择两种最先进的方法作为主干模型，评估不同方法在犯罪预测和交通流量预测任务上学习到的区域表示的质量。编码的区域表示用作以下骨干模型的初始化嵌入。

•ST-SHN[32]用于犯罪预测。该方法通过设计超图结构来捕捉全局空间相关性，从而对犯罪模式进行建模，是目前最先进的犯罪预测方法。按照原论文的设置，在超图神经结构中配置了128个超边。

•用于交通流量预测的STGCN[37]。它是建立在时空GCN上的具有代表性的流量预测模型。

时空卷积块联合编码跨区域和时隙的依赖关系。采用两个ST-Conv块，达到最佳性能。

4.1.3超参数设置

由于篇幅限制，我们将在附录部分详细介绍AutoST中的参数设置。

4.2有效性评价(RQ1)

我们在犯罪预测、交通预测和房价预测三个时空挖掘任务上对AutoST方法进行了评价。我们提供如下结果分析。

犯罪预测。我们在表1中给出了芝加哥和纽约犯罪预测的评估结果(平均结果)，在表3中给出了特定类别的结果(见附录部分)。

•AutoST在预测两个数据集上的城市犯罪方面表现最佳，这表明我们的自动化时空图对比学习范式的有效性。具体来说，我们将改进归功于:i)通过分层多视图图编码器的设计，AutoST可以从多类型数据源(即POI语义，人类移动痕迹，地理位置)捕获视图内和视图间的区域依赖关系。ii)利用自适应区域图对比学习，AutoST提供辅助的自监督信号，增强对噪声扰动和偏态数据分布的区域表示学习。

•虽然当前的区域表示方法(例如，CGAL, MVURE, MGFN)试图捕获基于迁移率图的区域相关性，但它们在构建的基于迁移率的区域图中容易受到噪声边缘的影响。不相关区域之间的信息传播会影响区域表示学习的效果。此外，流动性数据的倾斜分布限制了这些基线的空间依赖性建模。为了解决这些限制，我们的AutoST用区域自辨别监督信号补充了区域嵌入范式，这是对基于移动性的区域关系的补充。

•与对比图嵌入方法(如GCN, GAT, GAE)相比，AutoST取得了显著的性能改进，进一步证实了使用自适应自监督信号执行自动数据增强的优越性。在在图神经范式中，当信息经过与任务无关的区域边缘时，噪声效应将被放大。从所有基于交通或基于poi的相邻区域的图形中汇总的信息可能会误导对城市空间中真实潜在犯罪模式的编码。

交通预测。表1显示了预测未来15分钟的交通量的结果。(完整版本见表4)。

•AutoST在所有情况下始终优于比较基线，这证实了我们提出的方法产生更准确的预训练区域表示。针对城市空间不同区域交通流分布偏态的问题，AutoST通过设计分层多视图图的自适应对比学习组件，克服了数据分布偏态的问题。

•区域表示方法(即MVURE, MGFN)需要足够的数据来发现交通模式或挖掘人类行为，这意味着它们无法处理长尾数据。相比之下，带有自动视图生成的对比学习对倾斜数据分布具有更好的适应性。

•具体而言，区域表示方法(如MVURE, AutoST)在长期流量预测(45分钟)方面比其他传统方法(如Node2vec, GAE)获得更好的性能。

这表明区域表示方法可以有效地捕捉随时间变化的区域明智关系，这对于编码长期交通模式至关重要。

4.3消融研究(RQ2)

在本节中，我们进行模型消融研究，以评估不同数据视图和AutoST的对比学习组件对区域表示性能的影响。特别地，i)对于不同的数据视图，我们分别通过去除点感知区域图 $G_p$ 和基于距离的区域图 $G_d$ 生成两个变体:“w/o $G_p$ ”，“w/o $G_d$ ”。ii)对于对比学习模块的消蚀研究，我们生成了没有互信息最小化的变量“w/o InfoMin”。

(1)犯罪预测分析。从表2中，我们可以观察到设计的组件和合并的数据视图

在我们的AutoST框架中，对下游犯罪预测的表征性能产生了积极的影响。与w/o $G_p$ 和w/o $G_d$ 相比，AutoST所取得的性能提升表明了在区域表示中加入区域POI语义和地理信息的重要性。

(2)交通预测分析。在流量预测任务中也可以观察到类似的结果。例如，通过将POI语义或地理信息整合到我们的图神经编码器中，AutoST的学习区域嵌入可以提高交通预测性能。因此，通过对区域间异构动态关系的有效建模，我们的方法可以赋予区域表示范式以多样的时空格局。

4.4模型稳健性研究(RQ3)

我们还执行实验来研究我们的框架AutoST对数据稀疏性的鲁棒性。为了实现这一目标，我们分别对不同密度度区域的预测精度进行了评估。在这里，每个区域的密度程度是通过区域特定犯罪发生序列中非零元素(犯罪发生)的比例 $Z_r$ 来估计的。具体来说，我们将犯罪密度度≤0.5的稀疏区域划分为(0.0,0.25)和(0.25,0.5)两组。评估结果如图4所示。我们观察到AutoST始终优于其他方法。因此，本实验再次证明，时空区域表征学习从我们的自监督信号中获益良多，可以在不同犯罪密度的所有案件中提供准确而稳健的犯罪预测

现有的区域表示方法(如MVURE和MGFN)需要大量的数据来挖掘人类的行为或迁移模式，这导致在稀疏数据上的性能较低。另一个观察承认，目前传统的图学习方法(例如，基于gnn的方法)很难在具有稀疏犯罪数据的区域上学习高质量的表示。

4.5案例分析(RQ4)

在本节中，我们将进行案例研究，以展示AutoST在学习地理语义方面的全球区域依赖性方面的能力。具体来说，我们选取了两个区域对，即1)附近的区域:(region-15, region-31);2)偏远地区:(1区、158区)。从所呈现的图3中可以看出，区域15和区域31在空间上是相邻的，但它们的城市功能不同。然而，通过基线MGFN学习到的它们的嵌入具有很高的相似性。相比之下，在AutoST方法学习的区域嵌入中可以观察到嵌入的多样性。此外，尽管区域1和区域158地理距离较远，但它们的潜在语义在我们的编码嵌入中得到了很好的保留。总的来说，这些观察结果表明，AutoST在捕捉整个城市空间的全球区域依赖关系方面具有优势

5 相关工作

区域表示学习。一些研究探讨了区域表征学习问题。特别是，Fu等[4]提出通过结合区域内信息(如区域内POI距离)和区域间信息(如两个区域之间POI分布的相似性)来提高区域表示的质量。Zhang等人[40]通过引入集体对抗训练策略扩展了[4]中提出的思想。

最近在[38]中提出的一项研究开发了一种用于学习区域表示的多视图联合学习模型。首先从不同的视图(即人的移动性视图和区域属性视图)对区域相关性进行建模，然后对每个视图使用图注意机制来学习区域表示。

此外，Wu等[30]提出提取交通模式来学习区域表示，但只考虑移动性数据而忽略了POI数据，而POI数据对于获取区域功能至关重要。然而，上述方法的有效性很大程度上依赖于生成高质量的区域图，可能无法在有噪声和分布不均匀的时空数据下学习到高质量的区域表示。

图对比学习。广泛研究了在图数据上学习ssl增强表示[19,25,33,35]。对比学习分为两类。一种是用启发式执行数据扩充。例如，一些方法[29,35]利用节点/边缘掩码操作作为对比自我监督的数据增强器。然而，这些方法可能存在两个问题:首先，它们是专门设计的启发式，很难推广到不同的环境。此外，这些解决方案通过试错策略选择数据扩展，这很耗时。受数据重建生成模型的启发，我们提出的AutoST对时空图进行自动对比学习，提取信息丰富的自监督信号进行数据增强。

6结论

本文提出了一种基于自动时空图对比学习范式的区域表示学习方法。我们探索了基于时空图的自适应自监督学习，并指出了当前区域表示模型面临的关键问题。我们的研究表明，基于自动对比学习的数据增强方法为多视图时空数据的区域图表示学习提供了巨大的潜力。我们对三个时空挖掘任务进行了广泛的实验，并使用了几个真实的数据集，以验证我们提出的AutoST在各种设置中的优势。在未来的工作中，我们希望扩展我们的AutoST来执行反事实学习，以提取隐含的区域明智相关性背后的因果因素。

gao00013

关注

16
点赞
踩
21

收藏

觉得还不错? 一键收藏
0
评论
自动时空图对比学习

在各种区域嵌入方法中，基于图的区域关系学习模型因其具有较强的结构表示能力，可以用图神经网络编码空间相关性而脱颖而出。尽管它们很有效，但现有方法尚未很好地解决几个关键挑战:1)由于各种因素，数据噪声和缺失在许多时空情景中普遍存在。2)输入的时空数据(如流动性轨迹)通常表现出时空分布的异质性。在这种情况下，当前的方法容易受到生成的区域图质量的影响，这可能导致次优性能。在本文中，我们通过在多视图数据源生成的异构区域图上探索自动时空图对比学习范式(AutoST)来解决上述挑战。
复制链接

扫一扫