图神经网络入门

深度学习的发展日新月异，从经典的深度网络（DNN、CNN、RNN）到GAN、强化学习。深度学习覆盖的应用场景越来越丰富。近年来，深度学习领域关于图神经网络（Graph Neural Networks，GNN）的研究热情日益高涨，图神经网络已经成为各大深度学习顶会的研究热点。GNN处理非结构化数据时的出色能力使其在网络数据分析、推荐系统、物理建模、自然语言处理和图上的组合优化问题方面都取得了新的突破。这里主要是对图神经网络做一个入门性质的介绍，梳理图神经网络中的一些核心点，方便后续的进一步深入研究。

图神经网络优势

为什么要引入图神经网络呢？使用经典的深度学习方法不能解决吗？这里举一个引文网络的简单例子。

D1~D7是7篇文章，分为两个主题：生物和化学。其中，D1、D2、D6、D7的主题为生物，D3、D5的主题为化学。箭头被指向的文章，说明这篇文章被引用了，比如，D7引用了D3。现在，从上面的信息，推断下D4的主题是什么？很显然，D4大概率是生物主题。

我们的推断很大方面依赖于文档间的引用特征。进一步说，我们可以把文档看出节点，引用看出边，我们的推断主要来源于这个图的结构信息。对于深度模型如何有效使用这些图结构信息呢？经典的深度学习方法（比如DNN、RNN、CNN）能够有效的处理原始的输入，比如语音、图片、文本，但对于上面的图结构信息，就不是很有效了。这样就引入了本文的主角-图神经网络。图神经网络的应用场景非常广泛，比如，社交网络（用户节点，关系为边）、电子购物（用户为和商品为节点，用户与商品之间的联系为边）、化学分子（原子为节点，化学键为边）。

图神经网络中的图

提到图大家会想到两类图：

• 数据结构与算法中的图
• 概率图模型中的图

因为大家的重点是机器学习，第一感觉会觉得是概率图模型中的图，比如贝叶斯网络、马尔科夫随机场。实际上，图神经网络中使用的是经典数据结构与算法中的图。

图由顶点（Vertex）和连接顶点的边（Edge）构成。顶点和边之间的关系可以用邻接矩阵（A）表示，两个顶点间有边标识为1，否则为0。如上图所示，图$G=(V,E)$。其中， V = { v 1 , v 2 , v 3 , v 4 , v 5 } V=\{v1,v2,v3,v4,v5\} V={v1,v2,v3,v4,v5}， E = { ( v 1 , v 2 ) , ( v 1 , v 3 ) , ( v 2 , v 4 ) , ( v 3 , v 4 ) , ( v 4 , v 5 ) } E=\{(v1,v2),(v1,v3),(v2,v4),(v3,v4),(v4,v5)\} E={(v1,v2),(v1,v3),(v2,v4),(v3,v4),(v4,v5)}。关于更多关于图的知识，可以参考《数据结构》、《离散数学》或者《图论》中的相关内容。

• 台大李宏毅助教讲解GNN图神经网络
• 图深度表示（GNN）的基础和前沿进展
• 图神经网络介绍-Introduction to GNN

图神经网络的基本框架

神经网络的一个特点就是能将原始的输入变成稠密向量表示，比如将字/词转化为字/词向量（Word2Vec），将文章转化为篇章向量（Doc2Vec），将图片转化为图片向量然后进行分类等。很自然针对于图结构数据，神经网络的一个目标也是将其转化为向量。而具体来说就是：

• 把什么转化为向量？
• 怎么转化为向量？

图$G=(V,E)$，很显然，图神经网络就是把整个图G、每个节点V、每条边E转化为稠密向量。当然没必要每次都把G、V、E都进行向量化，哪部分向量化取决于实际的应用场景。一般来说主要包含三类任务：

1. 节点层面任务
   比如文章最开始提到的引文网络中，节点论文的分类，社交网络中用户标签的分类等。此时，主要关注节点和边层面的特征。
2. 边层面任务
   比如社交网络中，将用户作为节点，用户之间的关注关系建模为边，通过边预测实现社交用户的推荐。此时，主要关注节点和边的特征。
3. 图层面的任务
   比如对药物分子的分类。此时，任务不依赖于某个节点或某条边的属性，而是，需要考虑整个图的信息。

图嵌入、图神经网络、图卷积的关系查看图神经网络的资料，最常见图嵌入（Graph Embedding）、图神经网络（GNN）、图卷积（GCN）这三个词，同时，也很容易迷惑：到底这三个说的是三个东西还是一个东西？大家平时说的图网络指的是哪一个？这三个有什么联系？
图神经网络是一个很宽泛的概念，图神经网络=图+神经网络。我们通俗讲的图神经网络主要指GNN和GCN（类似于深度学习网络中的前馈全连接DNN和CNN）。图嵌入发展较早，在早期是一个相对独立的领域，关注的问题大致分为4类：

• 节点分类
• 链接预测
• 聚类
• 可视化

方法主要分为三类：

• 基于因子分解的方法
• 基于随机游走的方法
• 基于深度学习的方法

其中，基于深度学习的图嵌入可以划到图神经网络的范畴。

图嵌入

图嵌入发展较早，在早期是一个相对独立的领域。具体可以参考《图嵌入（Graph embedding）综述》。图嵌入比较经典的是DeepWalk，基本思想类似词向量训练，具体可以参考《【论文笔记】DeepWalk》.

图神经网络

GNN比较经典的是这篇《The Graph Neural Network Model》：https://repository.hkbu.edu.hk/cgi/viewcontent.cgi?article=1000&context=vprd_ja核心思想：

图卷积网络

GCN分为谱域GCN（Spectral）和空域GCN（Spatial），其中，谱域GCN发展较早，但主要思想基于图的信号处理，理论方面较难理解，很多初学者觉得图网络对数学要求较高，多半是直接从谱域GCN切入的。实际上对于图网络的初学者，建议可以先跳过谱域GCN，等对图网络有较好的理解后，再回过头来看谱域的GCN。引用一段不错的学习思路：许多 GNN 的介绍都用大篇幅去死磕 spectral based 的 GCN。但笔者认为这是本末倒置的行为，忽略了前沿工作里面的许多思想精华。Lecun 的 spectral GCN 是非常经典的工作，但是文章写得晦涩难懂，前置知识也太多，方法的实用性也不大。而且现在主流的方法都是以 spatial 为主的。所以建议初学者还是先学习 spatial 的 model，里面有很多做 DL 的人熟知的套路，接受起来也比较容易。等对整个领域建立起基本的 sense 之后，spectral GCN 以及其背后的 spectral graph theory 不失为一个继续深入的好选择。

参考

1. 图神经网络如何入门？