GNN综述笔记1《Deep Learning on Graphs: A Survey》

1. INTRODUCTION

一方面，深度学习方法在语音、图像和自然语言处理方面都表现出众，深度学习方法在提取数据复杂表征方面很强大。另一方面，图数据在现实生活中无处不在，比如社交网络、电子商务网络、生物网络和交通网络等，图数据有着更复杂的结构 包含更丰富的信息。因此，基于这两方面，如何将深度学习方法和图数据结合就成为很关键的问题了，具体应用上存在以下几方面问题：

• Irregular structures of graphs 图数据的不规则形。 因为不规则，所以不能简单应用传统的数学算子，例如无法实现卷积和池化操作
• Heterogeneity and diversity of graphs 图的异质性和多样性。 异质性指图数据的性质（异质/同质、有权/无权、有符号/无符号）；多样性指图的任务是多样的，从关注节点的问题（如节点分类和链接预测）到关注图形的问题（如图形分类和图形生成）。基于不同类型、属性和任务需要，就要求有不同的模型架构来处理特定的问题。
• Large-scale graphs 图数据的大规模性。 现实中数以百万计的节点和边很常见，如何设计一个具有线性时间复杂度的模型是个问题。
• Incorporating interdisciplinary knowledge 与跨学科知识的结合。 领域知识可以用来解决特定的问题，但是集成领域知识会使模型设计复杂化。

所以，为了解决上述问题，涌现了很多研究成果，本文的工作就是系统地总结这些成果的差异和联系，将现有的方法分为五类：

• 图循环神经网络(graph recurrent neural networks, Graph RNNs)
• 图卷积网络(graph convolutional networks, GCNs)
• 图自编码器(graph autoencoders, GAEs)
• 图增强学习(graph reinforcement learning, Graph RL)
• 图对抗模型(graph adversarial methods)

2. NOTATIONS AND PRELIMINARIES

• 本文讨论的图既可以是有向的，也可以是无向的；既可以有权重，也可以无权重；主要考虑的是无符号图(unsigned graphs)
• 下文标识中，粗体大写字符表示矩阵，小写表示向量
• 上标代表处于网络的第几层 $H^l$ ，用 $f_l$ 表示第 $l$ 层的维度，$H^l\in {\mathbb{R}}^{N\times f_l}$
  
  学习深度图模型的任务大致分为两类：
• Node-focused tasks 以节点为中心的任务。任务与图中节点相关联，举例包括节点分类(node classification)、链路预测(link prediction)和节点推荐(node recommendation)。
• Graph-focused tasks 以图形为中心的任务。任务与整个图相关联，举例包括图的分类、估计图的属性和生成图。

注：以上两者的区分大多体现在概念上。而且以节点为中心的任务，有时可以通过转化为以图形为中心的任务研究。不管怎样，下文将在必要时解释这两种类别算法的差异。

3. GRAPH RECURRENT NEURAL NETWORKS

3.1 Node-level RNNs

3.2 Graph-level RNNs

（待更新）