《HINormer: Representation Learning On Heterogeneous Information Networks with Graph Transformer》WWW

摘要

这篇论文介绍了一种名为HINormer的新型模型，旨在解决异构图信息网络（HINs）上的节点表示学习问题。现有的基于消息传递的图神经网络（GNNs）在表达能力、过平滑和过压缩等问题上存在局限性。为了克服这些问题，作者提出了利用图变换器（Graph Transformers, GTs）的全局注意力机制来增强模型的表现力。HINormer通过两个主要模块——局部结构编码器和异构关系编码器——来捕获HINs中节点的结构和异构信息，从而实现全面的节点表示。通过在四个HIN基准数据集上的广泛实验，证明了所提模型能够超越当前最先进的方法。

概述

拟解决的问题：论文针对的主要问题是如何有效地在异构图信息网络（HINs）上应用图变换器（GTs）进行节点表示学习。HINs由于其异构性，展现出与同构图不同的数据特征，需要特别的处理。现有的GTs在同构图上表现出色，但在HINs上的探索还不够充分。

拓展阅读：

同构图（Homogeneous Graph）

同构图是指图中的节点和边具有相同或相似的特性。在这种图中，所有的节点和边都是同一类型的，没有区分它们的类型或类别。例如，一个社交网络可以被视为一个同构图，其中所有的节点代表人，边代表人之间的朋友关系，而不考虑人的职业、兴趣或其他属性。

异构图（Heterogeneous Graph）

异构图则更为复杂，它包含多种类型的节点和边，每种类型都有其独特的属性和语义。在异构图中，节点和边可以代表多种不同的实体和关系，例如商品、用户、品牌和用户与商品之间的购买关系，商品与品牌之间的归属关系等。

• 同构图：在社交网络分析、网络流量分析、电路网络设计等领域中较为常见。
• 异构图：在推荐系统、知识图谱、生物信息网络、多模态数据分析等领域中非常重要，因为这些场景中的数据具有天然的多样性和复杂性。

创新之处：

1. 新颖的表示学习范式：首次将基于全局注意力的变换器应用于HINs，通过创新地应用图变换器进行节点嵌入。
2. HINormer模型：提出了HINormer模型，包含局部结构编码器和异构关系编码器，以捕获HINs上的结构和异构信息，辅助变换器进行节点表示学习。
3. 实验验证：在四个基准数据集上的广泛实验表明，HINormer能够超越现有的最先进基线。

方法

HINormer模型通过以下几个关键组件实现：

• 局部结构编码器：通过多层的邻居聚合，捕获目标节点的局部结构信息。
• 异构关系编码器：利用节点类型信息，学习节点间的异构语义关系，为变换器提供必要的异构信息。
• 𝐴?-hop节点上下文采样：为每个节点生成上下文序列，以适应全局注意力机制。
• 轻量级GATv2注意力机制：替代传统的点积全局注意力机制，减少可学习参数，减轻过拟合问题。

给定一个具有完整邻接矩阵的异构图𝐺，我们首先采用图1(c)中的局部结构编码器和图1(d)中的异构关系编码器分别捕获每个节点的基于特征的局部结构信息和基于异构性的语义接近度。这两个编码器的输出分别作为异构图Transformer主体部分的节点特征和相对位置编码。在对图1(b)中的每个节点进行𝐷-hop上下文采样过程后，HINormer能够利用全局自注意机制捕获特定上下文的高阶语义关系，并通过整合特征、结构和异质性生成判别性的节点级表示(图1(e))。最后，通过图1(e)中Transformer层生成的归一化节点表示来预测节点标签，并使用监督分类损失对模型进行训练。

3.1 节点级异构图Transformer架构 

为了实现具有 Transformer 架构的 HIN 上的节点表示学习，提出了D-hop 节点上下文采样过程来获取每个节点的输入序列。

D-hop节点上下文采样是HINormer模型的一个关键步骤，它允许模型为每个节点生成一个定制化的上下文序列，以便更好地捕捉节点的局部邻域信息。这个过程对于图Transformer架构在处理大型异构图信息网络（HINs）时尤为重要，因为它解决了直接处理整个图的计算和内存效率问题。

1. 选择目标节点：首先确定一个目标节点，该节点的表示将是我们希望学习的。
2. 构建D-hop邻域：从目标节点开始，逐步扩展到其1-hop、2-hop，直至D-hop邻居。这里的“hop”表示图中的跳数，即经过的边的数量。例如，1-hop邻居是指与目标节点直接相连的节点，2-hop邻居是指通过一条边可以到达的节点，以此类推。
3. 生成序列：将目标节点及其D-hop邻居的表示形成一个序列。这个序列包括目标节点自身以及其多跳邻居的节点表示。
4. 序列裁剪：由于不同节点的D-hop邻域大小可能不同，为了使所有节点的输入序列长度一致，需要将所有生成的序列裁剪或填充到一个固定的长度S。这通常涉及到移除多余的邻居或添加填充元素。

使用 GATv2作为替换，而不是涉及更多可学习参数的原始自注意力机制。GATv2被证明是一个通用的逼近器注意函数，它在Transformer中比点积自我注意更强大，但参数更少。GAT  和 GATv2 之间的差异，如下所示。：

在每个 Transformer 层中删除前馈网络 (FFN)，这可以大大减少可学习参数的数量，并且对模型性能没有显着的负面影响。总体而言，HINormer 中 Transformer 层的计算公式为 ：

3.2 局部结构编码器

异构特征投影。由于HINS上不同类型节点的特征通常存在于不同的特征空间中，因此第一个优先级是将它们的特征映射到共享特征空间中。我们采用带偏置项的线性变换作为异构特征投影函数，如 ：

局部结构编码器。由于 Transformer 只能捕获节点之间的基于特征的相似性，因此全局注意力机制无法达到节点级表示学习的结构相似性和更重要的局部上下文信息。通过有效的局部结构编码器，全局注意力能够考虑来自更全面的视图的节点对之间的相似性，从而生成更具代表性的嵌入。

局部结构编码器通过聚合来自目标节点邻域的节点特征来实现这一点，从而为图变换器提供丰富的上下文信息。

对于目标节点𝑣，以𝐾𝑠次对邻域信息进行聚合，可以收集到目标节点上下文𝐾𝑠-hop的结构和特征，输出表示扎根于目标节点𝑣的𝐾𝑠-subtree结构。通过适当的𝐾𝑠(通常非常小)，可以缓解过度平滑和过度压扁的问题。考虑到局部结构编码器的有效性和计算效率，我们采用基于gnn的邻域聚合的形式来实现局部结构编码器，具体如下:

 为了提高效率，采用非参数方式实现了局部结构编码器，具体如下:

3.3 异构关系编码器

异构关系编码器的主要目的是编码图中节点间的异构关系，这些关系在异构图中表现为不同类型的边。通过学习这些关系的编码，模型能够更好地理解节点间的复杂交互，从而提升节点表示的质量和准确性。

• 初始化：为每个节点初始化一个异构关系向量，通常使用节点类型的嵌入表示。
• 关系聚合：通过聚合目标节点的邻居节点的关系编码来更新目标节点的关系编码。这个过程可以通过图神经网络GCN的聚合机制来实现，由于不同类型的贡献可能不同，我们引入了额外的可学习类型感知权值来调整不同类型在每个聚合步骤中的影响。

• 多层处理：在多层设置中，每一层都可能对关系编码进行进一步的转换和聚合，以捕获更深层次的关系信息。
• 输出生成：最终，为每个节点生成一个包含其异构关系信息的特征向量。

输出表示节点𝑣的上下文异构性，通过比较我们可以导出两个节点之间的异构感知邻近度。然后我们可以将其作为节点𝑣的异构感知位置编码，并将其输入到HeteroMSA(·)中，以调整自注意机制来捕获节点之间的语义接近度。因此，在HeteroMSA(·)中的注意事项可以进一步修改如下: