空间异质性感知图神经网络

gao00013

已于 2023-12-29 11:09:34 修改

阅读量1.9k

点赞数 20

文章标签：神经网络人工智能深度学习

于 2023-12-28 22:28:32 首次发布

本文链接：https://blog.csdn.net/gao00013/article/details/135273929

版权

KDD 2023

摘要

图神经网络(gnn)已广泛应用于许多城市应用，将城市作为城市图，其节点是城市对象，如区域或兴趣点。最近，已经开发了一些增强的GNN架构来处理连接节点不同的异相关图。然而，通常可以观察到城市图具有独特的空间异质性;即在不同的空间距离上，邻居的不相似性可以表现出很大的多样性。这种特性虽然经常存在，但尚未被开发。为此，在本文中，我们提出了一个度量，称为空间多样性得分，以定量衡量空间异质性，并显示它如何影响gnn的性能。事实上，我们的实验研究清楚地表明，现有的异质性gnn在处理高空间多样性得分的城市图方面仍然存在不足。反过来，这可能会降低它们在城市应用中的有效性。在此基础上，我们提出了一个空间异质性感知图神经网络(SHGNN)来解决城市图的空间异质性问题。基于对城市图上空间近邻与中心节点差异模式更为相似的关键观察，我们首先设计了一个旋转尺度的空间聚合模块，其核心思想是对空间近邻进行适当的分组，并对内部多样性较小的每一组分别进行处理。然后，设计了一个异质性敏感的空间交互模块，自适应地捕获了数据不同空间群的共性与差异性。在三个真实城市数据集上进行的大量实验表明，我们的SHGNN优于其他几个竞争对手。

1 介绍

在过去的几年里，将图神经网络(GNNs)应用于不同的城市应用引起了很多研究的关注[9,10,31,33,39,43,54]。这些研究通常将城市建模为一个城市图，其节点是城市对象(例如，区域或兴趣点(POIs))，其边缘是城市区域的物理或社会依赖关系(例如，人类流动性和道路连接[39,40])。在城市图上，提出了具有不同架构的gnn来完成分类或回归任务。

然而，gnn有一个严重的局限性，这在以往的研究中很大程度上被忽视，但最近引起了越来越多的研究关注:gnn有一个隐含的同态假设，即只有具有相似特征或相同标签的节点才会在图上连接在一起[53,55]。与此同时，相反的假设是异质性，即连接的节点具有不同的特征或标签。事实上，异质性通常存在于城市图中，因为它描述了复杂的城市系统，其中相似和不同的城市对象(例如，具有不同功能的区域)可以以复杂的方式相互关联。以人的流动性构成的城市图为例，一条边的开始节点和结束节点都可以是家和工作场所，这绝对是异质性。许多传统的同构gnn可能无法很好地模拟这种异质性城市图上的差异信息，它们倾向于为连接节点生成类似的表示[2,55]。这样，这些同族GNN方法在城市图上的性能可能会受到很大的阻碍。

我们进一步观察到，城市图具有独特的空间异质性。具体而言，我们发现城市图上的异质性往往表现出空间多样性的特征。换句话说，中心节点与其相邻节点在不同距离或方向上的差异(或不相似)表现为明显的差异，而不是均匀分布。意识到这种特征，随之而来的问题是如何衡量城市图的空间异质性。对于图的同质性和杂性，已有不同的研究从不同的角度进行了探讨，包括节点同质性[29]、边同质性[56]和类同质性[23]。但如果不考虑连接节点的空间位置，这些指标无法描述城市图上的空间异质性。

因此，本文提出了空间多样性评分指标来分析空间异质性，并考察其对现有GNN方法在城市图上表现的影响。首先，我们根据城市图上邻居的位置(包括方向和距离)将其划分为不同的空间组，然后空间多样性得分衡量不同空间组之间的差异，即它们与中心节点的标签不相似度。得分越高(接近1分)表明不同空间组间差异越大，城市图上异质性的空间多样性越高。

然而，如果城市图的空间多样性得分很高，中心节点与其相邻节点在不同空间位置上的不相似性分布存在多样性，那么设计强大的异质性GNN模型仍然是一个突出的挑战。最近有一些研究改进了GNN架构来处理图的异质性[8,14,17,24,48]。

这些方法大多只能在节点间差异有限的异质性图上工作。例如，GBKGNN[8]假设只有两种不同类型的节点，FAGCN[2]假设节点特征只有两种不同级别的频率(注意，这一限制在他们的论文中进行了讨论)。沿着这条线，很难在城市图上模拟如此多样的空间异质性分布。为了提供更多的证据，我们对不同空间多样性评分水平的合成城市图进行了实验(详见3.2节)。从图1(d)可以看出，当图的空间多样性得分较高时，GBKGNN和FAGCN这两种最先进的亲异性gnn的性能远不是最优的。在实验中，我们还将提出的空间多样性评分应用于不同目标任务下的三个现实世界的城市图。

从图1(c)中我们可以看到，三个城市图呈现出不同程度的空间异质性，其中一个城市图在犯罪预测任务中可以得到非常高的分数(0.99)。因此，开发一种有效的GNN模型来处理城市图的不同空间异质性是有价值的。

通过对空间异质性的深入分析，我们发现城市图上的异质性进一步呈现出空间化的趋势，这为我们以分而治之的方式解决这种多样化的异质性提供了一个很好的机会。与普通图不同，城市图上的节点应遵循Tobler 's First Law of Geography (TFL)[35]。作为几乎所有城市分析中使用的基本假设，TFL意味着所有事物都与其他事物相关，但近的事物比远的事物更相关。

服从TFL，城市图上的空间近邻与中心节点相比，呈现出更相似的差异模式。我们还在商业活跃度预测任务中分析了现实世界的城市图，将这种趋势可视化(详情见第4节)。图2清楚地表明，从方向和距离的角度来看，空间近邻的差异都较小。因此，如果我们能适当地将空间上的近邻组合在一起，就有可能缓解城市图上群体内部异质性的多样性。

为此，我们提出了一种新的空间异质性感知图神经网络(SHGNN)，通过两个特殊设计的模块来解决城市图的空间异质性问题。首先，我们设计了一个旋转缩放空间聚合模块。其核心思想是根据邻居的方向和到中心节点的距离，将其适当划分为不同的空间组，并对每一组进行空间感知特征聚合，作为分别处理不同异质性分布的基础。

然后，设计了一个具有两个可学习核函数的异质敏感空间交互模块，用于捕获邻域的共性和差异性，并自适应地确定中心节点需要什么和多少差异信息。它作用于中心节点和不同群体的相邻节点之间，管理城市图上异质性的空间多样性。

本文的贡献总结如下:

•据我们所知，我们是第一个研究城市图的空间异质性的人。我们设计了一个度量空间多样性评分，分析空间异质性属性，识别现有gnn在处理城市图空间异质性方面的局限性。

•我们提出了一种新的空间异质性感知图神经网络SHGNN，其中设计了两种技术:旋转缩放空间聚集和异质性敏感空间交互，以分而治之的方式解决城市图的空间异质性问题。

•我们进行了大量的实验来验证SHGNN在三个真实数据集上的有效性。

2 准备

在本节中，我们首先介绍城市图的基本概念，然后阐明我们的工作目标。常用的符号总结在附录的表4中。

城市图。设表示一个城市图，其中表示代表一种城市实体的节点集合，表示表示城市场景中节点间某一种关系的边集，表示节点的邻域。为特征矩阵，其中i第一行为从城市数据中获得的 $v_i$ 的d维节点特征。节点集和边缘集的不同实例化会形成不同的城市图，例如:(1)以区域为节点，人流为边的流动性图(Mobility Graph)。节点特征可以是一些区域属性，如POI在区域内的分布;(2)路网，节点集由路段组成，边表示路段之间的连通性。节点特征可以是一个路段的结构信息，例如分支和车道的数量。

问题公式化。给定一个城市图，我们的目标是设计一个考虑并缓解空间异质性的GNN模型来学习节点表示푓:，其中表示节点的表示向量。模型f将在不同的下游任务中以端到端方式进行训练。

3 空间异质性

在本节中，对城市图的空间异质性进行了分析。我们首先介绍测量空间异质性的度量(第3.1节)。然后，第3.2节给出了合成图的实验研究。这不仅证明了gnn在城市图上考虑空间异质性的重要性，而且为解决这一挑战提供了一条有希望的途径。

3.1 异质性的空间多样性

为了描述城市图上异质性的空间多样性，我们设计了一个名为空间多样性评分的度量。通常，图的异质性是通过中心节点与其邻居之间的标签不相似度来衡量的(例如，[8,29])。沿着这条线，我们的空间多样性评分旨在进一步评估不同空间位置的邻居之间的差异，即他们与中心节点的标签不相似度的分布。简单地说，我们首先根据其空间位置将邻里划分为不同的空间群。然后，我们可以通过计算空间组的标签不相似度分布之间的Wasserstein距离来度量空间组的差异，并进一步将度量定义为高差异节点的比例。

3.1.1双视图空间划分

为了区分邻居的空间位置，形成不同的空间群，我们首先将地理空间划分为几个不重叠的子空间，每个中心节点的邻居都可以分配到其所在子空间对应的群中。注意，空间异质性可以在不同的方向和距离上呈现，因此我们建议从两个视图进行空间划分。

Direction-Aware分区。给定城市图上的中心节点，我们将以它为中心的地理空间均匀地划分为十个方向扇区。相应的，邻域中的节点将被划分为它们所在的扇区。属于同一扇区的邻居被重新定义为方向感知邻居，其中。这样，方向感知邻域可以看作是与中心节点有不同空间关系的不同空间群。然后我们将计算不同空间组之间的差异。图1(a)说明了这样一个扇区分区。

Distance-Aware Partition 如图1(b)所示，我们还根据邻居到中心节点的距离来划分它们。具体来说，我们首先通过统计连接节点之间的距离分布来确定城市图上邻域的距离范围。请注意，我们将此分布的90%百分比视为图上邻域的最大距离。这是基于距离分布通常呈现长尾特性的观察，这样的距离截止可以避免来自非常遥远的异常值的干扰。然后，将距离范围平均分成10个桶，得到距离环。同样，原邻域可以划分为十个距离感知邻域作为空间群的另一种观点，我们也有

3.1.2 空间多样性评分

在邻域划分之后，我们的目标是根据标签不相似度与中心节点的分布距离，通过测量不同空间组之间的差异来进一步定义空间多样性得分。

首先，我们定义空间群的标签不相似度分布到中心节点。对于具有C类的节点分类任务，在一个空间组内，该分布计算为属于每个类(不同于中心节点)的邻居的比率。以方向视图为例，对于中心节点 $v_i$ ，将 $s_k$ 的标签不相似度分布形式定义为

式中1(·)为指标函数， $y_i$ 为 $v_i$ 的单热标签向量，其c-th值用 $y_{i,c}$ 表示。

此外，为了提高该指标在更多城市应用(例如，回归任务)中的通用性，我们还将上述标签不相似性分布的定义扩展到节点回归任务。具体来说，我们首先对整个图上连接节点之间的标签差进行统计:，并计算十分位数。这9个十分位数可以确定10个桶(区间)，这将用于连续标签差值的离散化，到获得与节点分类任务相似的标签不相似性形式。因此，对于扇区 $s_k$ 中的空间组，其标签不相似度分布将根据其离散到中心节点的标签差异计算为映射到不同桶中的邻居的比例，也可以表示为，其中c-th元素的计算公式为:

式中c= 0,1，…9。用 $D_0$ 和 $D_{10}$ 分别表示整个图上标签差分布的最小值和最大值()。

其次，通过测量标签不相似度分布之间的距离来定义不同空间组之间的差异。根据最近对图异质性的研究[52]，我们采用Wasserstein距离(WD)来度量两个空间群之间的分布距离。形式上，考虑节点 $v_i$ 的 $s_p$ 和 $s_q$ 扇区中的两个空间群和，它们之间的差异定义为:

其中，表示两个分布之间的Wasserstein距离，可通过Sinkhorn迭代算法近似计算[6]。

通过这样的度量，我们最终可以定义空间多样性得分来描述城市图的多样性空间异质性。该度量可以根据不同空间组间高差异节点的比例来计算:

在,表明至少有两个扇区在其标签不相似度分布到中心节点 $v_i$ 方面存在差异。这样，城市图上空间群差异较大的节点越多，得分 $\lambda _d^s$ 就越高。同样，我们也可以在距离视图中定义得分 $\lambda _d^r$ ，它衡量的是R中不同环与中心节点距离不同所形成的空间群之间的差异:

在实践中，当城市图上只有一部分节点被标记时，通常使用标记的数据来估计 $\lambda _d^s$ 和 $\lambda _d^r$ 就足够了。图1(c)显示了三个真实城市图的分数。

我们可以看到，从方向和距离的角度来看，城市图都可以呈现非常高的空间多样性得分(例如，犯罪预测得分为0.99)，这表明不同空间群体的异质性存在差异，标签不相似度分布存在差异。

3.2实验调查

接下来，我们对综合城市图进行了实验研究，以说明在城市图上考虑不同空间异质性的重要性。具体而言，我们测试了几种GNN模型在一系列异质性空间多样性增加的合成城市图上的性能。我们用10维随机生成的特征向量生成了包含5000个节点的10个图。对于每个节点，我们构建50条边，并假设这些邻居位于中心节点周围从近到远的10个距离环上。从G1到G10，我们逐渐扩大了不同距离环上邻域间标签不相似度分布的差异，以增加杂种优势的空间多样性。特别,我们在图 $G_i$ 均匀的节点集划分为푖子集,节点的标签在从高斯分布采样。然后,50 邻居连接节点,푗随机选择从一个子集的等概率的。

此外，我们让邻居的空间距离与其与中心节点的标签差一致(即差异较小的邻居位于距离较近的环中)。这样，这10个图的空间多样性得分会越来越高 $\lambda _d^r$ 。与此同时，同一距离环内相邻区域的差异较小。

图1(d)显示了GCN[18]和两种最先进的异源gnn (FAGCN[2]和GBKGNN[8])在10个合成图上的节点回归误差。正如预期的那样，GCN得到了最差的性能，因为在大多数情况下，GCN被证明不适用于异相关图[24]。

对于两种异质性gnn，尽管误差小于GCN，但随着空间多样性得分的增加，其性能仍远未达到最优。这是因为它们只对节点之间有限的不相似度(例如，两个频率水平[2]或两类节点[8])进行建模，而没有考虑不同的不相似度分布。

然而，如果模型在每个距离环中分别处理与中心节点差异更相似的邻居(如我们的SHGNN)，则总能获得令人满意的性能。

因此，我们有理由考虑是否可以通过将城市图上差异较小的邻居适当分组来解决不同的空间异质性问题

4 方法

在本节中，我们首先提出城市图上的异质性往往表现出一种空间倾向:空间上近邻的异质性分布比远邻的更相似，这符合TFL。这一特性产生了我们可以根据邻居的空间位置进行适当划分的解决方案，将差异较小的邻居分组在一起。然后，我们提出了利用这种空间倾向来解决城市图的空间异质性的SHGNN。

空间趋势。除了不同空间群体之间存在差异(见3.1节)之外，我们对空间异质性的深入研究进一步揭示了这种差异在城市图上呈现出空间趋势。具体来说，我们观察到两个空间相近的群体之间的差异比两个距离较远的群体之间的差异要小。我们通过数据分析直观地呈现这种趋势。图2显示了任意两个空间组之间标签不相似度分布的两两差异，这是基于现实世界的人类流动性和区域商业活跃度数据计算得出的。在图2(a)中，对于距离环 $r_p$ 所形成的空间群，我们可以发现其与其他环 $r_q$ 的差异与其空间距离高度相关(即 $r_q$ 距离 $r_p$ 越远，差异越大)。例如，近环对( $r_0,r_1$ )的差异小于远环对( $r_0,r_9$ )。从方向上看，也可以观察到类似的空间趋势。如图2(b)所示，在大多数情况下，差异会随着扇区夹角的增大而增大。以扇区 $s_0$ 为例，其与 $s_1\sim ~s_9$ 的差异先增大后减小，这与它们夹角的变化大致同步。换句话说，一个扇区更有可能与另一个遥远的扇区(例如， ${(s_1,s_6)}$ )而不是附近的扇区(例如， ${(s_1,s_2)}$ )不一致。这一特点促使我们通过适当地将空间上的近邻进行分组，并对内部差异较小的每组进行单独处理，来解决城市图上不同的空间异质性问题。

为此，我们提出了一种名为SHGNN的新型GNN架构，如图3和图4所示。我们的模型由两个部分组成:旋转缩放空间聚集(见4.1节)和异亲性敏感空间相互作用(见4.2节)。

4.1旋转缩放空间聚合

该组件的目的是对空间上的近邻进行适当的分组，减轻消息传递过程中组内异构性的多样性。一般情况下，我们首先根据邻居与中心节点的相对位置进行划分。然后，在每个空间组中分别进行特征聚合。

4.1.1旋转缩放双视图分区

根据第3.1.1节的邻域划分，我们将地理空间划分为不重叠的子空间，然后将位于同一子空间的邻域分组在一起。请注意，在此组件中执行的空间分区与第3.1.1节中执行的分区有两个主要区别。首先，我们应用了一个更一般的分区，它具有可变数量的子空间。其次，引入旋转尺度多头分区策略，更全面地模拟邻居的空间位置。

具体来说，在方向视图中，我们将空间均匀地划分为一组扇区，其中 $n_s$ 为分区扇区的数量，可以为不同的数据集适当设置。将扇区 $s_k$ 的每个方向感知邻域中的节点分组在一起，我们仍然称之为空间群。在距离视图中，将空间划分为푛푟距离环，这是一个预定义的距离桶(例如，)的结果。注意中心节点 $v_i$ 本身不属于任何扇区或环，我们将其视为附加组

旋转缩放多头分区。针对部分邻居可能位于两个子空间边界的特殊情况，我们进一步提出了一种多头分区策略，在每个视图上同时进行多个分区，不同的头可以互补。例如，如图3(a)所示，橙色节点 $v_4$ 位于 $s_0$ 和 $s_1$ 扇区之间的边界，这表明基于单向划分的邻域空间关系挖掘得还不够充分。在距离环的划分中也可以发现类似的情况，例如图3(b)中的节点 $v_4$ 。

为了克服这一限制，我们通过设计扇形旋转和环缩放两种操作来扩展我们的分区策略，以实现多个空间分区，从而全面捕捉不同的空间关系。具体而言，如图3(a)和(c)所示，对于原来划分的方向扇区，我们将扇区边界旋转一定角度(例如45度)，得到另一组扇区，然后在这些新扇区中相应地重新分配邻居，形成一组不同的方向感知邻居。因此，我们将扇区的表示更新为，方向感知邻域为，其中表示 $M_s$ 头总数中的m-第一个头分区。同样，从距离视图上，我们对原距离环的边界进行缩放，得到补分区，如图3(b)和(d)所示。表示更新为和用于环和距离感知邻域，其中。这样，不同的分区头对相邻节点和中心节点之间的空间关系进行了互补建模，从而避免了在单个分区下不适当的分组。

4.1.2空间感知聚合。

从两个空间角度进行多头分区后，我们收集从邻居到中心节点的消息。与大多数gnn遵循的混合消息(例如，通过平均)不同[47]，我们的模型执行分组聚合来处理具有不同异质性的不同空间组。图4(a)显示了一个示例。

形式上，以方向视图为例，在m-head分区，我们使用图卷积[18]分别对每个邻域的节点特征进行聚合，并按程度归一化:

在表示l层聚合信息方向部门表示 $v_j$ 邻居l层的特性与,和是一种可训练的转换从邻居的特征中提取有用的信息。

同样，在距离视图中，我们也分别在每个距离环中执行逐环聚合:

其中为不同距离邻居的另一特征变换。这样，聚合后的消息不仅可以捕获图上的结构信息，还可以区分它们不同的空间组。它避免了城市图上空间异质性的不同分布丢失。

4.2异亲敏感空间相互作用

在类群特征聚合之后，SHGNN进一步捕捉了城市图上不同空间群的空间异质性。具体来说，我们设计了两个可学习的核函数，首先分别捕获中心节点和每个空间组之间的共性和差异。然后，联合学习一个关注门，自适应地确定两个分量传播到中心节点的比例。此外，从图2的空间趋势分析中可以看出，异质性分布的差异随着两个空间群之间的距离而变化，我们进一步考虑了这一特征，允许核函数在群之间起作用，这鼓励了群之间共同信息和差异信息的传播。由于我们将中心节点视为一个额外的组，因此此过程可以视为每两个组之间的交互。为了简单起见，我们在下面的讨论中省略了layer和head的索引 $l$ 和 $m$ 。

通用核函数。鉴于不同的扇区/环都属于中心节点的邻域，它们可能共享一些共同的知识，这可能会增强彼此的代表性。因此，我们首先设计一个通用的核函数来捕获这些信息。

形式上，以方向视图为例，表示为以 $v_i$ 为中心的 $n_s$ 扇区,则对扇区 $s_p$ 和 $s_q$ (包括 $v_i$ 本身)之间的共性程度建模的核函数定义为

式中<·，·>为内积，为抽取公共知识的可学习矩阵。输出值越大，表明输入之间的相似性(即共性)越高。在此基础上，我们通过从其他行业中提取有用信息来增强行业代表性:

其中，系数为softmax函数归一化后的共性水平。同样，我们也可以利用类似的核函数通过参数化得到每个距离环的表示，并增强其他环的共同知识。

差异核函数。在异性恋城市图中，除了常识之外，差异信息的建模也是至关重要的。因此，我们设计了另一个要捕获的核函数中心节点与每一组之间，以及任意两组之间存在不同的差异性。我们从方向的角度介绍它。具体来说，取原始表示作为输入，差异核定义为:

其中和表示学习提取部门 $s_q$ 与部门 $s_p$ 的差异的两个转换。根据[12]，核函数可视为计算两个输入之间的不相似度，当푠푝和푠푞的不相似度越高，K的不相似度越高。随后，我们的模型通过这种差异测量，使每个部门都能意识到与其他部门的有用差异信息

同样，我们利用一个类似的核函数，表示为，参数为和，以捕捉距离视图中的这种差异，并推导出环表示意识到空间异质性的不同分布。

细心的组件选择。利用这两个核函数，我们既可以利用共同的知识，也可以利用不同组中中心节点和相邻节点之间的多种差异信息。然而，在不同的应用中，不同的节点可能具有不同程度的空间异质性。因此，SHGNN以端到端方式学习推导自适应确定共差信息比例的门。

具体来说，对于每个中心节点푣푖，我们将所有扇区的共性和差异分量连接起来，通过变换得出一个标量:

其中表示将输入映射为标量的可训练变换， $\sigma$ 表示将输出值限制为(0,1)的Sigmoid函数。然后，作为控制各扇区最终表示中共性分量和差异分量比例的门:

以同样的方式，我们学习推导门，它决定每个环的最终表示中的比例。

在空间群(包括中心节点)之间传播后，不同群在邻域内可以包含不同的差异信息，这对城市图的异性性至关重要。然后，我们通过串联(而不是求和，以避免混合不同的空间异质性分布)来整合这种分组明智的表示，以获得两个视图的全局表示。由于我们采用多头分区策略，因此使用以下连接来组合每个视图的不同头部。以上两个过程可以联合表示为:

两个空间视图的融合。最后，我们用一个可学习的加权求和融合两个空间视图，更新中心节点的表示如下:

其中和是将两个视图的表示向量变换到同一空间的两个权矩阵， $\gamma$ 是由Sigmoid函数激活的一个可训练的权衡参数，该函数根据目标任务学习对方向视图和距离视图赋予不同的重要性。

4.3预测与优化

符合通用卫星系统,进行我们使用L层ReLU激活函数的输出层的节点表示在不同的下游任务做出预测,由适当的损失函数和优化模型:。在节点回归任务中，为线性回归量，为标记节点的基真值，L为L2损失。而对于节点分类任务，执行逻辑回归，是C类的单热标签向量，L可以是交叉熵损失

5实验

在本节中，我们在两种类型的城市图上的三个不同任务中对现实世界的数据集进行了广泛的实验，以评估我们模型的有效性。SHGNN的代码可https://github.com/PaddlePaddle/PaddleSpatial/tree/ main/research/SHGNN获得。

5.1实验设置

5.1.1任务和数据说明

我们首先简要介绍对应于三个不同任务的三个数据集，如何构建每个数据集的详细信息在附录A.1中描述。表1总结了三个数据集的统计信息。

商业活跃度预测(CAP)是移动图上的节点回归任务。与[42]类似，我们使用每个地区对poi的评论数量作为区域商业活跃度的指标。为了形成本任务的数据集，我们从百度地图上收集了中国深圳市的以下城市数据，包括2019年9月的POI数据和卫星图像来构建区域特征，2019年7月至2019年9月的每日人流量数据用于构建城市图的边缘集，以及2019年6月至2020年4月作为地面真实的区域POI评论数。

犯罪预测(CP)也是流动性图上的节点回归任务。为了完成这个任务，我们从纽约市开放数据网站1收集了纽约市的真实数据集。该数据集包含曼哈顿的180个区域，其中包含每个区域的POI数据和犯罪数量，以及区域之间的出租车行程[40,51]。我们从poi中构造节点特征。出租车旅行被用来建造城市图，我们只保留每个区域最重要的20条边，而不是旅行记录的数量。

危险路段检测(DRSD)是在路网上进行的节点分类任务。在本工作中，危险路段被定义为交通事故高发路段。我们基于Harvard Dataverse2中OSMnx Street Networks的道路网络数据和Kaggle数据集网站3中2021年12月的交通事故记录，在洛杉矶建立了一个真实世界的数据集。首先，我们对每个路段的事故记录数量进行统计。那么，在我们的实验中，一个月内事故记录超过3次的路段将被视为危险路段。

为了选择所有比较方法的最佳超参数，我们将每个数据集随机分成三部分，其中60%用于训练，20%用于验证，20%用于测试。

5.1.2基线

我们将SHGNN与各种最先进的GNN模型进行了比较，包括两种经典的消息传递神经网络(GCN[18]和GAT[36])，五种具有代表性的异恋图方法(Mixhop[1]、FAGCN[2]、NLGCN[26]、GPRGNN[5]和GBKGNN[8])，两种空间GNN模型(SAGNN[20]和PRIM[4])，以及三种特定任务的基线(CAP的KnowCL[27]、CP的NNCCRF[49]和DRSD的RFN[13])。详细描述见附录A.3。

5.1.3评价指标

对于这两个回归任务，我们用均方根误差(RMSE)、平均绝对误差(MAE)和决定系数(R2)来评估所有方法。对于节点分类任务，我们使用曲线下面积(Area Under Curve, AUC)和F1-score。

5.2性能评估

5.2.1总体比较。

我们的SHGNN和基线的性能比较如表2所示，其中通过5得到所有指标的均值和标准差

随机运行。我们可以看到，SHGNN在两种城市图上的三个任务中始终表现最佳，在商业活跃度预测(CAP)和犯罪预测(CP)上的RMSE分别降低了6.6%和11.2%，在危险道路检测(DRSD)上的AUC在每个任务的最竞争基线上提高了7.2%。我们还在SHGNN和每个基线之间进行了两两t检验，以证明我们的模型显着优于它们。需要注意的是，虽然DRSD任务中路网异质性的空间多样性没有另外两个城市图那么强( $\lambda _d^s$ = 0.23， $\lambda _d^r$ = 0.14)，但我们的模型仍然可以在很大程度上提高精度。这表明SHGNN的有效性不仅局限于具有较强空间异质性的城市图，而且可以是一般性的。

具体来说，普通GNN模型(GCN和GAT)的总体性能最差。相比之下，设计用于处理图异质性的方法(Mixhop、FAGCN、NLGCN、GBKGNN和GPRGNN)的性能明显更好。它表明简单地把城市图当作一般的同族图是不恰当的。然而，作为一个专门设计的处理空间异亲性的模型，我们的SHGNN显著优于这些一般的异亲性gnn。空间GNN方法(SAGNN和PRIM)有时优于GCN和GAT，但在许多情况下不如异亲图的方法。对于特定任务的基线，也可以发现一些亲异性gnn与它们水平挂钩(如CAP任务中的Mixhop和GPRGNN vs. KnowCL, CP任务中的GBKGNN vs. NNCCRF, DRSD任务中的Mixhop vs. RFN)。这些结果也证明了在城市图上使用gnn时考虑空间异质性的重要性。综上所述，我们的SHGNN在所有任务中都更有效地考虑和缓解了城市图的空间异质性。

5.2.2消融研究

为了验证模型中每个设计的有效性，我们进一步将SHGNN与其五个变体进行了比较:

•SHGNN- s删除了方向截面划分，该划分仅从距离视图中建模空间异质性

•SHGNN-R删除了距离环划分，它只从方向视图建模空间异质性。

•SHGNN-M删除了多头分区策略。

•SHGNN-C去掉了共性核函数，没有在空间组间共享共性知识。

•SHGNN-D删除了差异核函数。它无法捕捉空间群体之间的差异。

如图5所示，SHGNN优于所有变体，证明了我们的设计在解决空间异质性方面的重要性。具体来说，如果不考虑方向分段或距离环(SHGNN-S和SHGNN-R)的划分，则性能会变差，这表明从两个角度考虑空间异质性的必要性。此外，旋转标度多头分割策略对多元空间关系(SHGNN-M)的建模有明显的帮助。此外，如果不使用公共核函数，性能会下降，这表明邻居之间共享知识的有效性。更重要的是，去除差异核函数会导致性能显著下降，这验证了进一步捕获和利用异亲城市图上的差异信息的重要性。

5.2.3参数分析

在保持其他参数不变的情况下，我们进一步研究了几个重要超参数对SHGNN性能的影响。图6给出了CP任务的结果，其他结果见附录A.4。

空间组个数 $n_s/s_r$ 。我们首先分析了分区扇区 $n_s$ 和环 $n_r$ 的数量所产生的影响。通过增加 $n_s/s_r$ 来划分更多的子空间，SHGNN可以模拟更多样化的空间关系，进一步以更细粒度的方式捕捉空间异质性的多样性。但是，过于密集的分区不会带来进一步的改进，甚至会带来轻微的性能下降。一种可能的解释是，一些子空间包含的邻居太少，无法支持其表示学习。

分区头号 $M_s/M_r$ 。我们还研究了多头分区策略中头数 $M_s/M_r$ 的影响。可以观察到，与单个分区( $M_s,M_r$ = 1)相比，使用这种策略( $M_s,M_r$ = 2)的SHGNN可以明显地表现得更好，这要归功于两个头之间的互补作用。当푀푠和푀푟继续增加时，模型通常会得到更少的进一步改进，并且带有额外冗余的太多磁头有时可能会导致性能下降。因此，我们建议设置一个较小但大于1的头数(例如:， 2)，在保持效率的前提下足够好。

6相关工作

本文简要回顾了两个相关主题:城市应用的gnn和异构gnn。

城市应用GNNs。作为一种表示关系数据的强大方法，GNN模型在最近的研究中被广泛应用于城市图的学习，并在交通预测[9,25,31,33,37,43,50]、自行车需求预测[19]、区域嵌入[40,51]、区域经济预测[45]和特殊区域发现[44]等各种应用中取得了显著的成绩。有一些研究倾向于在一个特殊的领域(POI关系预测)对gnn的消息传递过程中的位置信息进行编码[4,20]。但是，这些方法不能推广到具有异质性的城市图，这可能会大大降低它们在其他城市应用中的性能。

具有异亲性的gnn。我们的研究也涉及到图异缘性的研究。在这里，我们只简要介绍了亲异性gnn，并建议读者参考最近的一项综合调查[53]。这些方法基本上通过以下两种方式解决了异性问题。第一个分支是重建用不同准则测量的图上具有相似节点的同近邻。使用的标准包括潜在空间中的距离[29]或度序列[34]定义的结构相似性、注意分数的差异[26]、节点属性的余弦相似性[15,16]、节点相互表示的能力[21]等。然而，正如He等人[11]所指出的那样，这些方法会破坏网络拓扑，并篡改城市图上原有的现实依赖关系。

另一个分支倾向于修改GNN架构，以处理异亲图上的差异信息，而不是典型GNN的拉普拉斯平滑[38]，例如分别处理不同类别的邻居[7,8]，显式地聚集每层高阶邻居的特征[1,56]，通过传递签名消息来允许高频信息[2,28,41,46,47]。并结合每层的输出(包括自我特征)，也赋予gnn具有高通能力[3,5,56]。然而，这些方法大多没有考虑中心节点与不同相邻节点之间不相似度分布的多样性，特别是在不同的空间关系下。

7 总结

本文研究了城市图独特的空间异质性，开发了一个空间异质性感知的图神经网络。我们设计了一个空间多样性评分来揭示邻域不同空间位置的异质性多样性，并揭示了现有gnn在处理城市图上不同异质性分布时的局限性。在此基础上，基于空间近邻呈现出更为相似的异质性模式，提出了一种新的方法——SHGNN，该方法将空间近邻分组在一起，将内部多样性较小的分组分别处理，以分而治之的方式解决空间异质性问题。最后，广泛的评价证明了我们的做法的有效性