【论文阅读】Heterogeneous Graph Neural Network via Attribute Completion (WWW ‘21)【异构图神经网络】

[1] Jin D , Huo C , Liang C , et al. Heterogeneous Graph Neural Network via Attribute Completion[C]// WWW '21: The Web Conference 2021. 2021.

只摘取重要的进行截取、记录、笔记。

名称：
同构图 homogeneous graphs
异构图 heterogeneous graphs
异构信息网络 Heterogeneous information networks (HINs)

0.Abstract

问题：
在异构图中，某些类型的节点通常没有属性。以往的研究采用了一些手工方法来解决这一问题，将属性补全与图学习过程分离开来，导致性能较差。

文章做了什么：
翻译：用一种可学习的方式做了一个属性补全，提出了一个通过属性补全的异构图神经网络总体框架，包括拓扑嵌入的预学习和具有注意机制的属性补全
【原文： In this paper, we hold that missing attributes can be acquired by a learnable manner, and propose a general framework for Heterogeneous Graph Neural Network via Attribute Completion (HGNN-AC), including pre-learning of topological embedding and attribute completion with attention mechanism. 】

1.Introduction

（过去gnn被广泛应用于同构图，现在也被应用于异构图…）这些基于gnn的异构模型可以解释为平滑节点属性，在图结构下的邻居指导。
【原文：These GNN-based heterogeneous models can be interpreted as smooth node attributes in neighbors guided by graph structure.】

现有的一些问题：
在异构图中，很多节点没有属性，因为代价昂贵或者不可获得，这会影响模型的性能。

我们把异构图中缺失的节点分成两类：
第一类：重要的需要分析的节点没有属性，第二类：不重要的节点没有属性。

有些类型的节点没属性，有些类型节点有属性，很多时候这些节点可能会相连。

之前研究用手工处理方法来解决异构图中属性缺失这个问题，以MAGNN和HAN为例，在DBLP数据集中，论文的属性是论文关键词的词袋表示，但是对于“作者”（节点）来说，因为数据集中没有提供更多（作者）的相关信息，所以他们使用关键词词袋，从他们发表的论文中。这与作者的属性向量来自于其直接相连的论文的属性向量的均值是一样的(IMDB中就是这样做的)。而且，他们没有使用计算机科学专业的预先训练的词向量[25]和one-hot表示作为术语的属性，这可能导致更少的有用信息。
【原文： Taking MAGNN and HAN as an example, in the DBLP dataset, they use bag-of-words representation of paper keywords as the attributes of papers, which seems to be reasonable. But for authors, because no more relevant information is provided in the dataset, they use bag-of-words representation of keywords extracted from their published papers. This is the same as that an author’s attribute vector comes from the mean of its directly connected papers’ attribute vectors (which is actually done in IMDB). What’s more, they use no computer-science-specialized pre-trained word vectors [25] and one-hot representation as the attributes of terms and venues, which may provide less effective information.】

这篇文章提出了一种 基于属性补全的异构图神经网络通用框架（HGNN-AC） 。这个框架的目的是为了通过学习解决节点属性缺失在异构图中的问题。

我们以节点间的拓扑关系为指导，通过对这些有属性节点的属性进行加权聚合，去给无属性节点补全属性。（to complete attributes for no-attribute nodes by weighted aggregation of the attributes of these attributed nodes. ）

具体来说，HGNN-AC首先使用HIN-Embedding方法[8,10,30,40]获取节点嵌入，然后在进行加权聚合时，通过计算节点嵌入的注意值来区分不同节点的不同贡献。【原文：…and then distinguishes different contributions of different nodes by computing the attention value of node embeddings when conducting weighted aggregation. 】

这种补充机制可以很容易地与任意HINs模型结合，使整个系统端到端。注意节点属性补全过程中存在弱监督缺失。利用弱监督损失，结合模型的预测损失，对属性补全的学习过程进行优化。

我们的框架可以提高基于gnn的模型的效果。具体来说，当节点的目标类型没有属性的时候， 使用提出的框架来补全属性。即使目标节点已经有属性了，提出框架来补全其它类型的属性也可以提高性能，这是由于基于gnn的模型的特性，补全相关联节点的属性可以帮助预测。

我们的工作贡献总结有以下三点：
1.提出了某些类型节点整体属性缺失的问题，即异构图中缺失唯一属性。以前的异构方法通常不考虑丢失属性的问题，或者使用手工方法(例如，求和或平均)来替换丢失的属性。
2.提出了一种基于属性完成的异构图神经网络(HGNN-AC)的通用框架，解决了异构图神经网络中某些类型节点属性缺失的问题。这个框架以一种可学习的方式解决了以前手工方法的不足，并且很容易与任意HINs模型结合。
3.我们在DBLP、ACM和IMDB数据集上进行了广泛的实验，以评估所提出的框架的性能。结果表明，结合所提出的框架后，现有模型的性能有了明显的提高。我们在ACM数据集上进行了一个案例研究，以进一步证明所提出的框架的优越性。

英语短语：
a surge of interest 激增的、浓厚的兴趣
derived from 源自，派生
arbitrary 任意的
topological relationship 拓扑关系

2.Related work

2.1 Graph Embedding

图嵌入[3,6,12]的目的是将图中的节点投射到低维向量空间中，其中节点的表示( the representation of nodes )能够反映节点之间的关系，从而保留节点的语义信息。这个具有挑战性的主题首先在同构图中得到了解决，如……
最近出现了一些针对异构图的嵌入方法。在异构图中，最重要的是如何区分节点和边的异构性，以及如何捕捉网络异构所带来的丰富语义信息。例如，metapath2vec[8]在元路径引导下生成随机节点序列[30,33]，然后将序列输入到skip-gram[21]模型中，生成节点嵌入……

2.2 Graph Neural Networks

图神经网络(gnn)，目的是将深度神经网络扩展到处理任意图结构数据。它们分为两种类型:时域 （spectral domain ）和空域（spatial domain）。然而，上面的图神经网络是用来处理同构图的。
最近，一些研究试图将gnn扩展到异构图。例如，基于层次注意的HAN[39]模型，包括节点级注意和语义级注意，分别学习基于元路径[30,33]的节点之间的重要性和不同元路径的重要性。然后，HAN以分层的方式从基于元路径[30,33]的邻居中聚合属性……

上述方法无一例外地不能很好地解决异构图中某些类型节点的整体属性缺失问题。它们只能通过平均或求和来完成属性，或者直接使用one-hot 向量，这些都不令人满意。在本文中，我们提出了异构图的属性补全来填补这一空白。

3.Preliminary

我们首先给出了与异构图相关的一些重要术语的形式化定义。然后我们给出了一些符号和解释，在这篇文章中使用。

Definition 1. Heterogeneous Graph. 定义一 异构图

一个异构图，表示为G（V，ε，F，R，φ，Φ ）。
F：the set of node types 节点类型的集合
R： the set of edge types 边类型的集合
要求：|F | + |R| > 2.
每个节点i∈V关联一个节点类型映射函数φ: V→F，每个边e∈ε与边缘类型映射函数Φ: ε→R相关联。其余的变量如table 1所示。
如图1 (a)所示，我们构建了一个异构图来对IMDB建模。它由三种类型的节点(movie、actor和director)和两种类型的边(movie-actor和movie-director)组成。

Definition 2. Incomplete Attributes in Heterogeneous Graph 定义二 异构图中的不完全属性

给一个异构图G（V，ε，F，R，φ，Φ ），X被定义为节点属性，不完全的属性意味着说，∃F ′ ⊂ F，F ′ !=0 , 其中，与节点类型映射函数φ: V→F '关联的每个节点i∈V没有属性。
如图1 (a)所示，在IMDB中，只有电影节点有属性，而导演和演员没有属性。

Definition 3. Heterogeneous Graph Embedding. 定义三 异构图嵌入

给一个异构图G，任务是学一个d维节点代表 h_v ∈R^d,对于所有节点v ∈ V ， 维度d ≪ |V |，可以捕捉到G中包含的丰富的结构和语义信息。

英语短语：
project…into… : 把…投影到…
spectral domain 时域
spatial domain 空域

4.HGNN-AC Framework

在本节中，提出了一个异构图神经网络(HGNN-AC)的节点属性补全框架。该框架遵循无属性节点(即v∈V^-)生成的属性应该来自带属性节点(即v∈V⁺)的原则。其主要思想是，我们以拓扑信息为指导，计算直连邻居v’∈N_v⁺对节点v∈V⁻的贡献，作为我们执行属性补全时的参考.

4.1 Overview

图2展示了提出的节点属性补全的框架。给一个异构图G，只有一些类型的节点有属性，HGNN-AC首先通过网络拓扑结构A计算节点的嵌入H，接着使用H来分析节点的拓扑关系，利用注意力机制来学习一个可排序的分数，来决定哪些直接相连的有属性的节点对于无属性节点来说是最适合贡献属性的。在知道了最佳节点后，HGNN-AC根据得分对集合V+中节点的属性进行加权聚合，补全集合V⁻中节点的属性。
为了防止过拟合，也为了保证属性补全过程可以被引导，HGNN-AC首先随机丢失V+中节点的一些属性，然后在属性补全过程的同时重构这些属性。这样可以计算丢掉属性和重构属性之间的补全损失，从而指导属性补全过程。最后，将具有完备属性的节点和网络拓扑结构A作为一个新的图，送给HINs模型。将预测损失和属性补全损失作为最终损失，对整体模型进行端到端的优化。

4.2 Pre-learning of Topological Embedding 拓扑嵌入的预学习

同质性是指相似实体之间的接触比不同实体之间的接触发生的速度快。
【原文：Homophily is the principle that a contact between similar entities occurs at a higher rate than among dissimilar entities 】

异构图网络也有同质性，**拓扑和属性信息往往表达相似或者相同的结构。**基于这个思想，我们假设 节点拓扑信息的关系 可以反应 节点属性信息的关系。
本文中，模型 HGNN-AC 使用 现存异质图嵌入方法，如 metapath2vec [8] 或 HHNE [40] 来获得基于网络拓扑的节点嵌入。
然而，这些基于skip-gram的方法总是使用单一的meta-path，可能会忽略一些有用的信息。为了得到更好的嵌入，HGNN-AC首先根据常用的multiple meta-paths，通过随机遍历（random walk）得到更全面的节点序列，然后将这些序列输入到skip-gram模型中学习节点嵌入H。

4.3 Attribute Completion with Attention Mechanism 带有注意力机制的属性补全

以前：通过平均直连邻居的聚合属性来解决属性缺失。
本文：每个节点的直连邻居在属性聚合中重要性不同。可能是因为这些节点类型不同，或者因为局部拓扑不同。也就是说，一个节点的邻居越多，它对每个邻居的重要性就越低。
在获取节点的嵌入后，HGNN-AC利用注意机制自动学习不同直接邻居的重要性，然后从集合V+中的一阶邻居聚合集合V⁻中节点的属性信息。
**总结：**给不同的邻居节点用注意力机制附上权重

具体来说：
给定一个直接相连的节点对(v,u)，注意层可以学习重要性e_vu，即节点u对节点v的贡献。节点u的贡献可以表示为:
e_vu = att(h_v ,h_u )
其中h_v和h_u是节点v和u的拓扑嵌入，u∈v ⁺。Att(·)为可执行的函数，对所有节点对都是共享的，因为假设对所有节点对都是通用的。

此外，HGNN-AC采用了一种屏蔽注意机制（a masked attention mechanism），即我们只计算节点u∈N_v⁺的e_vu，其中N_v⁺表示集合v⁺中节点v的一阶邻居。很明显，一阶邻居可能有更多的贡献，所以该策略可以过滤大量的非贡献节点，通过采用 屏蔽注意 减少计算量:

e_vu = σ(h^T_vW h_u ),

其中W为参数矩阵，σ为激活函数。
在得到所有直接邻居的分数后，利用softmax函数得到归一化加权系数a_vu:

然后，HGNN-AC可以根据加权系数a_vu对节点v的属性进行加权聚合:

如果v的邻居节点都没有属性，那么节点v的属性向量就是0。

如果将注意过程扩展为多头注意，以稳定学习过程并降低高方差(由网络的异质性带来)，那么公式将变为：

其中K表示我们进行了K个独立注意过程，mean(·)表示我们平均了K个结果。

4.4 Dropping some Attributes

这个操作的原因和大致流程上面已经提到过了，

具体来说，对于V⁺中的节点，HGNN-AC按照小比例α随机将其分为V⁺_drop和V⁺ _keep两部分，即|V⁺_drop | = α |V⁺|。HGNN-AC首先删除V⁺_drop中节点的属性，然后通过属性补全，通过V⁺_keep中节点的属性重构这些属性。

节点v的重构属性可以表示为:

其中v∈V⁺_drop, u∈V⁺_keep, V⁺_keep∩V_i⁺表示这里也采用了掩码注意。K与mean(·)意义同上相同。

我们引入了一个弱监督损失来优化属性补全的参数。我们用欧几里德距离作为度量来设计损失函数为:

4.5 Combination with HIN Model

完成属性补全之后，新节点被定义为：

由于所提出的框架保持拓扑结构不变，因此将新的属性X^new连同网络拓扑A作为一个新的图发送给HIN模型:

其中Φ为任意HINs模型，$\tilde{Y}$和Y分别为模型的预测和标注，f为损失函数，这取决于模型的具体任务。

最后，我们将所提出的框架应用于HIN模型。该模型的最终损失是标签预测的损失和属性补全的损失。然后，通过端到端反向传播优化整个模型:

λ是平衡这两个部分的加权系数。

英语词语：
Homophily 同质性
a small ratio 一个小比例
denote 表示

5.Experiments

5.1 Datasets

使用了三个常见的HINs数据集。

1. DBLP。我们提取了一个DBLP子集.在该数据集中，论文的属性为其关键词的词袋表示，作者的属性为其已发表论文的关键词的词袋表示，术语的属性为非计算机科学专业的预先训练的词向量，场地的属性为one-hot向量。只有论文的属性是直接从数据集派生出来的。

2. ACM。提取一个ACM子集。论文根据发表的会议分为三类。然后构建由4019篇论文§、7167位作者(a)和60个主题(S)组成的异构图，其中论文的属性是其关键词的词袋表示，作者和主题的属性向量来自于其直接相连的论文的属性向量的均值。只有论文的属性是直接从数据集派生出来的。

3. IMDB。提取了一个子集，包含4780部电影(M)、5841名演员(a)和2269名导演(D)。根据电影类型将电影分为三类。在这个数据集中，电影的属性是描述其情节的词语袋;演员和导演的属性向量来源于他们直接相连的电影属性向量的均值。只有电影的属性是直接从数据集派生的。

虽然上述数据集中的所有类型的节点似乎都有属性，但它实际上是以前作品中一些手工设计的结果。也就是说，只有DBLP和ACM中的论文和IMDB中的电影才有自己的属性来表达真实的语义信息。在下面的实验中，如果比较实验需要节点属性，我们使用这些手工制作的属性作为输入。但在我们的框架进行实验时，我们去掉了这些手工制作的属性，因为我们的框架可以自动完成缺失的属性。

5.2 Baselines

将提出的框架与MAGNN和GTN模型结合，分别表示为MAGNN-AC和GTN-AC。并与原来的模型比较性能。

5.3 Implementation Details

设定了一些参数，如dropout=0.5，并将masked attention 扩展为多头注意，注意头数K = 8，α=0.3，λ=0.5，框架参数的学习率=0.005。

这项工作的代码和数据可以在https://github.com/liangchundong/HGNN-AC上找到。

5.4 Node Classification

我们在两种数据集下执行节点分类任务，比较不同模型的性能。一种类型的数据集是需要分类的节点没有原始属性。在这里，我们选择DBLP数据集进行实验。另一种类型的数据集是需要分类的节点具有原始属性，而其他类型的节点没有属性。这里我们选择ACM和IMDB数据集进行实验。我们将所提出的框架分别与MAGNN和GTN相结合来验证其有效性。

5.5 Visualization 5.6 Case Study 5.7 Parameters Experiments

随后做了一些效率的比较和可视化工作，调查了参数的敏感性。

6 Conclusion

HGNNAC包括预学习拓扑嵌入和属性补全两部分。我们使用hin -嵌入方法得到节点的拓扑嵌入。然后以节点间的拓扑关系为指导，对无属性节点的属性进行加权聚合，并结合注意机制完成属性。最后，将所提出的框架与任意HIN方法相结合，得到一个端到端的模型。在实验中，我们将HGNN-AC与MAGNN和GTN模型相结合。节点分类的结果表明，框架优于尖端技术。可视化任务显示了HGNN-AC的有效性。实例分析也表明，该方法具有良好的可解释性。

7.阅读总结

7.1 工作总结：

1，提出一个问题——异构图属性缺失
2，用HGNN-AC框架解决这个问题
3，进行实验验证

7.2 怎么做的

1. 先随机删除异构图节点的一些属性，为了后续可以计算补全损失（drop out）
2. 用网络拓扑结构 A 计算节点嵌入层H：使用multiple meta-paths ，通过随机遍历得到节点序列，然后输入skip-gram中学习节点嵌入H。
3. 用H分析拓扑关系，
4. 使用注意力机制对节点进行排序 ：计算与v直接相连的一阶邻居的重要性e，
5. 排名前的节点对无属性节点贡献属性，加权聚合:根据重要性得到加权系数a，用加权系数对节点v的属性进行加权聚合.重构属性可以看为加权聚合后的平均，
6. 补全属性后计算补全损失：使用欧几里得距离度量设计损失函数，完成属性补全。
7. 补全后把新的图（包含源节点和补全属性的新节点）传给HIN模型，进行预测，最终的损失是预测损失和补全损失之和（要加参数调权重）。