【论文解读】Inductive Representation Learning on Large Graphs（GraphSAGE）

Inductive Representation Learning on Large Graphs William在2017年发表于NIPS，是一篇关于动态网络表征学习（Dynamic NRL）的论文，属于 property-preserving 方法

论文链接：https://papers.nips.cc/paper/6703-inductive-representation-learning-on-large-graphs.pdf

源码连接：https://github.com/williamleif/GraphSAGE

 

---

目录

摘要：

1 引言

2 相关工作

3 GraphSAGE

         3.1 嵌入生成

与Weisfeiler-Lehamn同构性测试的关系

邻域的定义

3.2 学习GraphSAGE的参数

3.3 聚合结构

4 实验

---

摘要：

• Graph中节点的低维embedding在多种预测任务中十分有用
• 现有大部分方法需要在训练embedding时，节点时存在的（静态网络的嵌入）；这些方法本质上是 transductive（转导性，暂时还不理解什么意思），不能自动为 不可见节点（网络中现在还不存在的节点）生成embedding。即不能为随后会加入网络的节点学习embedding
• 提出了GraphSAGE，一种利用节点特征信息（文本属性）的归纳框架，来有效地为预先不可见节点生成节点embedding
• 我们将学习一个函数，该函数通过对节点的局部邻居的特征进行采样和聚合来生成embedding，而不是为每个节点训练单独的embedding。
• 我们的方法优于……balabala……

---

1 引言

• Graph中节点的低维embedding在多种预测任务中十分有用
• 节点embedding方法的基本思想是使用降维技术将有关节点邻域的高维信息提取为密集的向量embedding。
• 节点的embeddings可以喂给下游的机器学习系统，帮助完成一些任务，比如节点分类、聚类和链路预测

 

• 之前的工作主要集中在固定Graph的embedding，而许多真实的应用程序需要embedding方法能够很快为不可见节点或全新的子图生成embedding
• 这种归纳能力对于高吞吐量、生产机器学习系统至关重要，该系统在不断演化的Graph上运行并不断遇到看不见的节点（例如，Reddit上的帖子，Youtube上的用户和视频）。
• 一种生成节点嵌入的归纳方法还可以促进具有相同特征形式的图的泛化：例如，可以在从模型生物衍生的蛋白质-蛋白质相互作用图上训练嵌入生成器，然后轻松使用训练好的模型为在新生物上收集的数据生成节点的embedding。

 

• 与转导性设定相比，归纳式节点嵌入问题尤其困难，因为将其泛化到看不见的节点，需要将新观察到的子图“对齐”到 已经被算法优化过的节点嵌入。
• 归纳式框架需要识别节点邻域的结构属性，这些结构属性既可以显示节点在图中的局部角色，也​​可以显示其全局位置。

 

• 大部分现有的方法是转导性的。
• 这些方法中的大多数都使用基于矩阵分解的目标直接优化了每个节点的嵌入，并且不会自然地泛化到看不见的数据，因为它们在单个固定图中对节点进行预测。
• 这些方法可以被修改成归纳模式中的方法，但计算昂贵，需要额外的梯度下降

当前工作：

• 为归纳的节点嵌入，提出了GraphSAGE，利用了节点的特征来学习一个嵌入函数，可以推广到不可见节点。
• 通过在学