【论文阅读】HDGI：Heterogeneous Deep Graph Infomax

摘要

HDGI使用元路径对异质图中涉及语义的结构进行建模，并利用图卷积模块和语义级注意机制来捕获单个节点的局部表示。通过最大化局部-全局互信息，HDGI有效地学习了基于异质图中不同信息的节点表示。实验表明，HDGI在节点分类和聚类任务上都显著优于最先进的无监督图表示学习方法。通过将学习到的表示输入参数模型，如逻辑回归，与最先进的监督端到端GNN模型相比，我们甚至在节点分类任务中实现了可比的性能。

1 引言

现有的无监督图表示学习模型可以分为基于因式分解的模型和基于边的模型。

基于因式分解的模型通过因式分解样本关联矩阵来捕获全局图信息。通过关联矩阵分解，可以很好地掌握完整的图结构。然而，这些方法忽略了节点属性和局部邻域关系。

基于边的模型通过边的连接或随机游走路径利用局部和高阶邻域信息。如果节点在相同的路径中连接或同时出现，则它们倾向于具有相似的表示。基于边的模型容易保持有限阶的节点相似性。它们缺乏一种保存全局图结构的机制。

而基于互信息的模型同时考虑了局部和全局信息。

2 相关工作

（1）图表示学习

（2）图神经网络

（3）互信息

3 定义

（1）异质图

异构图定义为 $\mathcal{G}=(\mathcal{V},\mathcal{E})$，具有节点类型映射函数 $\varphi ：\mathcal{V}\to \mathcal{T}$ 和边类型映射函数 $\psi ：\mathcal{E}\to \mathcal{R}$ 。其中，$|\mathcal{T}|+|\mathcal{R}|>2$。节点的属性和内容可以编码为初始特征矩阵 $X$。

（2）异质图表示学习

给定 $\mathcal{G}$ 和 $X$，表示学习任务是学习低维节点表示 $H\in {\mathbb{R}}^{|\mathcal{V}|\times d}$，其中同时包含 $\mathcal{G}$ 中的结构信息和 $X$ 中的节点属性。学习到的表示 $H$ 可以应用于节点分类、节点聚类等下游图相关任务。本文主要学习一种特定类型节点的表示。我们将用于表示学习的节点集表示为目标类型节点 ${\mathcal{V}}_t$。

元路径，代表了两个节点之间的节点和边类型。形式上，路径$v_1\stackrel{R_1}{\to }{v}_2\stackrel{R_2}{\to }\cdot \cdot \cdot \stackrel{R_{n-1}}{\to }{v}_n$被定义为节点$v_1$和$v_n$之间的元路径，其中$R=R_1◦R_2◦\cdot \cdot \cdot ◦R_{n-1}$被定义节点$v_1$和$v_n$之间的复合关系。本文为了简化问题的设置，使用对称且无向的元路径定义目标类型节点 ${\mathcal{V}}_t$ 间的相似性。

我们将本文中使用的元路径集表示为 { Φ 1 , Φ 2 , ⋅ ⋅ ⋅ , Φ P } \{Φ_1,Φ_2,···,Φ_P\} {Φ1​,Φ2​,⋅⋅⋅,ΦP​}，其中${\Phi }_i$表示第$i$种元路径类型。

（3）基于元路径的邻接矩阵

对于元路径${\Phi }_i$，如果节点$v_i\in {\mathcal{V}}_t$和$v_j\in {\mathcal{V}}_t$之间存在一个路径实例，我们称$v_i$和$v_j$是基于${\Phi }_i$的“连接邻居”。这些邻域信息可以用基于元路径的相邻矩阵$A^{{\Phi }_i}\in {\mathbb{R}}^{|{\mathcal{V}}_t|\times |{\mathcal{V}}_t|}$表示，其中$v_i$和$v_j$通过元路径${\Phi }_i$连接时，$A_{ij}^{{\Phi }_i}=A_{ji}^{{\Phi }_i}=1$，否则，$A_{ij}^{{\Phi }_i}=A_{ji}^{{\Phi }_i}=0$。

4 HDGI方法

4.1 HDGI体系结构概述

HDGI的概述如图2所示。

表1总结了模型中用到的符号。

HDGI的输入是一个异构图 $\mathcal{G}$ ，包含$N$个目标类型的节点，其初始$d$维特征用$X\in {\mathbb{R}}^{N\times d}$表示，以及元路径集 { Φ i } i = 1 P \{Φ_i\}^P_{i=1} {Φi​}i=1P​。基于 { Φ i } i = 1 P \{Φ_i\}^P_{i=1} {Φi​}i=1P​，我们可以计算基于元路径集的邻接矩阵 { A Φ i } i = 1 P \{A^{Φ_i}\}^P_{i=1} {AΦi​}i=1P​。

第4.2节中描述的基于元路径的局部表示编码有两个步骤：

1. 从$X$和每个$A^{{\Phi }_i}$中学习单个节点表示$H^{{\Phi }_i}$，
2. 通过一个语义级注意力机制聚合 { H Φ i } i = 1 P \{H^{Φ_i}\}^P_{i=1} {HΦi​}i=1P​来生成节点表示$H$。

第4.3节提出了一种全局表示编码器 $\mathcal{R}$，用于从$H$导出一个图 summary vector $\vec{s}$。

discriminator $\mathcal{D}$ 的训练目标是最大化正节点和图级 summary $\vec{s}$ 之间的互信息。

同时，HDGI通过以互信息最大化为目标的反向传播进行端到端优化。

第4.4节中，我们详细阐述了基于互信息的discriminator $\mathcal{D}$ 和 负样本生成器 $\mathcal{C}$。

4.2 基于元路径的局部表示编码

4.2.1 针对特定元路径的节点表示学习

使用一个节点级编码器，推导出一个包含初始节点特征$X$和$A^{{\Phi }_i}$信息的节点表示：

本文考虑了两种编码器：

（1）GCN

其中，${\tilde{A}}^{{\Phi }_i}=A^{{\Phi }_i}+I$，$D^{{\Phi }_i}$是$A^{{\Phi }_i}$的对角线节点度矩阵。矩阵$W^{{\Phi }_i}\in {\mathbb{R}}^{d\times F}$【$d$是初始特征维度】是滤波器的参数矩阵，它在不同的$A^{\Phi }$之间不共享。

（2）GAT

对于第$m$个节点，其 $K-head$ 注意力输出可计算为：

其中，$||$是连接操作，$W^{{\Phi }_i}$是线性变换参数矩阵，${\mathcal{N}}_m^{{\Phi }_i}$是元路径${\Phi }_i$下节点$m$的邻居集，${\alpha }_{mj}^{{\Phi }_i,k}$是由第$k$个注意力机制计算出的归一化注意力系数。

在针对特定元路径的节点表示学习之后，我们得到了节点表示集 { H Φ i } i = 1 P \{H^{Φ_i}\}^P_{i=1} {HΦi​}i=1P​。

4.2.2 异质图节点表示学习

在这里，我们利用一个语义级注意力层 $L_{att}$ 来学习每个元路径的权重：

具体来说，不同元路径${\Phi }_i$的重要性计算如下：


其中，$W_{sem}$是一个线性变换参数矩阵。$\vec{q}$ 是可学习的共享注意力向量。

异质图节点表示$H$由 { H Φ i } i = 1 P \{H^{Φ_i}\}^P_{i=1} {HΦi​}i=1P​的线性组合而得：

我们的语义级注意力层受到了HAN的启发，但在学习方向上仍存在一些差异。HAN利用分类交叉熵作为损失函数。训练集中的可用标签指导学习方向。在HDGI中学习到的注意力权值由二进制交叉熵损失引导，表示该节点是否属于原图。因此，在HDGI中学习到的权值用于节点的存在。因为没有涉及分类标签，所以权重从已知标签中没有偏差。

表示$H$作为最终输出的局部特征。需要指出的是，基于元路径的局部表示编码器中的所有参数都为正节点和负节点共享。负节点由负样本生成器生成，我们将在第4.4节中介绍。全局表示编码器利用表示$H$输出图级 summary，如下一节中所述。

4.3 全局表示编码器

本文考虑了三种编码器函数：

（1）Averaging encoder function

对节点表示取均值作为图级 summary vector $\vec{s}$：

其中，$\sigma$是PReLU激活函数。

（2）Pooling encoder function

将每个节点向量单独输入到一个全连接层。使用元素级的max-pooling操作（对应维度的所有元素取最大值），汇总节点集的信息：

其中，$max$ 表示元素级的max运算器，$\sigma$为非线性激活函数。

（3）Set2vec encoder function

Set2vec基于LSTM架构，因为原始的Set2vec工作于有序节点序列。然而，我们需要汇总来自每个节点的综合信息，而不仅仅是图结构。因此，我们将LSTMs应用于无序集合上节点邻居的随机排列。

4.4 HDGI的学习

4.4.1 基于互信息的discriminator

直接计算随机变量之间的互信息并不方便。Belghazi等人证明了$KL$散度符合 Donsker-Varadhan 表示，并且$f$散度表示是其对偶表示。对偶表示提供了随机变量$X$和$Y$的互信息的下界：

其中，${\mathbb{P}}_{XY}$是联合分布，${\mathbb{P}}_X\otimes {\mathbb{P}}_Y$是边缘分布的乘积。$T_{\omega }$是基于参数$\omega$的discriminator的深度神经网络。公式（10）中的期望可以使用来自${\mathbb{P}}_{XY}$和${\mathbb{P}}_X\otimes {\mathbb{P}}_Y$的样本来估计。该discriminator的表达能力保证了高精度的近似MI。

通过训练discriminator $\mathcal{D}$，我们估计并最大化了互信息，从而辨别出正样本集$Pos=\{[{\vec{h}}_n,\vec{s}]{\}}_{n=1}^N$和负样本集$Neg=\{[{\vec{\tilde{h}}}_m,\vec{s}]{\}}_{m=1}^M$。

当节点${\vec{h}}_i$属于原图（联合分布）时，样本$({\vec{h}}_i,\vec{s})$表示为正；而当节点${\vec{\tilde{h}}}_i$是生成的假图（边缘分布的乘积）时，$({\vec{\tilde{h}}}_i,\vec{s})$为负。

discriminator $\mathcal{D}$ 是一个双线性层：

其中，$W_D$是一个可学习的矩阵，$\sigma$是sigmoid激活函数。

使用针对discriminator $\mathcal{D}$ 的二元交叉熵损失，最大化互信息：

4.4.2 负样本生成器

负样本集$\{[{\vec{\tilde{h}}}_m,\vec{s}]{\}}_{m=1}^M$由异质图中不存在的样本组成。由于我们的目标是最大限度地提高正节点和图级summary vector之间的互信息，生成的负样本将影响模型捕获的结构信息。这样，我们就需要高质量的负样本来保持结构信息的准确性。

负样本生成器如下：

负样本生成器保持所有的基于元路径的邻接矩阵不变，但打乱了初始节点特征矩阵$X$的行，图的结构并没有变，但是每个节点对应的初始的特征向量变了。如图3所示。

5 实验