MAGNN论文笔记

1 概述

1.1 论文和源代码地址

本文2020年发表在WWW上
论文地址：https://arxiv.org/pdf/2002.01680v1.pdf
源代码地址：

1. https://github.com/shangzongjiang/MAGNN
2. https://github.com/cynricfu/MAGNN

1.2 主要思想

以推荐系统为例，要利用多方面的信息对用户进行编码：

• 用户的特征：性别、年龄、职业等）；
• 用户购买过的物品的特征：大小、颜色、价格、类型等）；
• 用户的近邻信息：
  – 传统方法利用各种距离，如欧式距离来获取用户的邻居；
  – 本文采用了meta路径来获取近邻节点：存在不同的meta路径，作者讨论路径内和路径间的不同融合方法。
  

2 背景知识

Heterogeneous Graph: 由不同类型的结点或者边构成的图。

Heterogeneous Graph Neural Networks(HGNNs):

• Ration-based HGNNs: 聚合来自直接相连的邻居结点的信息；如：RGCN, HGT, …
• Metapath-based HGNNs: 聚合来自元路径邻居结点的信息；如：HAN, GTN, …

Metapath:结点之间的复合关系，是一个由结点或者边构成的有序序列；

Metapath Instance：实例化；

为什么使用metapath？
小例子：scholar network with authors, papers, venues and terms；
Author-Paper-Author (APA) and Author-Paper-Venue-Paper-Author(APVPA) 描述作者之间两种不同关系的元路径。APA 元路径关联两位共同作者，而 APVPA 元路径关联两位在同一领域发表论文的作者。因此我们可以将元路径视为两个节点之间的高阶邻近度。由于传统的 GNN 对所有节点一视同仁，因此无法对异构图中复杂的结构和语义信息进行建模。

3 MAGNN原理

大多数使用元路径异质网络嵌入方法可能存在的三种局限：

1. 局限1：模型没有利用节点内容特征，因此它很少在具有丰富节点内容特征的异构图上表现良好；如：metapath2vec、ESim、HIN2vec 和 HERec
   
2. 局限2：模型只考虑两个端节点，丢弃了元路径上的所有中间节点，导致信息丢失；如：HERec 和 HAN
   
3. 局限3：模型在图嵌入中依赖单一元路径。模型需要手动定义元路径，且会丢失来自其他元路径的信息，从而导致性能欠佳；如：metapath2vec
   

3.1 解决局限1：Node Content Transformation

组件1）：Node Content Transformation
原理：将不同类型的节点特征投影到同一个潜在向量空间中。

举例说明，假设要映射到二维潜在向量空间中：

• 节点$v$的特征为3维，则${\mathbf{x}}_v^A$的向量为$3\times 1$，则设定为${\mathbf{W}}_A$为$2\times 3$，${\mathbf{h}}_v^{\prime }$为$2\times 1$；
• 节点$s$的特征为4维，则${\mathbf{x}}_s^A$的向量为$4\times 1$，则设定为${\mathbf{W}}_A$为$2\times 4$，${\mathbf{h}}_s^{\prime }$为$2\times 1$；
• ${\mathbf{h}}_v^{\prime }$和${\mathbf{h}}_s^{\prime }$在同一个二维向量空间中。

3.2 解决局限2：Intra-metapath Aggregation

组件2）：Intra-metapath Aggregation；
作用：编码、聚合元路径实例，生成特定元路径的结点表示。

步骤如下：

• 对一条路径进行编码：利用设定的metapath，找到目标节点$v$的所有邻居节点${\mathcal{N}}_v^P$, $P(v,u)$表示连接目标节点$v$到邻居节点$u\in {\mathcal{N}}_v^P$的路径，可以利用加权平均（不考虑路径上节点的先后顺序）、或者LSTM方法（把路径考虑为一个序列）将该条路径上的节点融合后得到${\mathbf{h}}_{P(v,u)}$:

h P ( v , u ) = f θ ( P ( v , u ) ) = f θ ( h v ′ , h u ′ ,