图神经网络基础（1）

1.什么是图 ？

        我们最熟悉的社交网络就是一个最典型的图

        通常用图指代一种广义的抽象结构，用来表示一堆实体和它们之间的关系。实体被叫作图的节点，而实体和实体之间的关系构成了图的边。 —个图G＝｛γ，g｝包含一个节点集合γ和一个边的集合g。 以社交网络为例用户可以作为节点,而用户和用户之间的朋友关系可以作为边。 图几乎无处不在， 当我们在网上购物时,用户和产品之间的购买关系可以形成用户—产品图;当 我们在公司工作时，有公司的组织结构图。

2.深度学习与图

        二维的网格数据可以理解为图像，一维的序列数 据可理解为文本。

2.1 图数据的特殊性质

        以卷积神经网络为例我们通过对比网格数据和图数据来 说明为什么它不能直接用在图上。

1. 节点的不均匀分布

        在网格数据中,每个节点（不包含边缘节点）只有4个邻接点,因此我们 可以很方便地在一个网格数据的每个小区域中定义均匀的卷积操作。而在图结 构中节点的度数可以任意变化，每个邻域中的节点数都可能不一样，我们没 有办法直接把卷积操作复制到图上。

2.排列不变性

        当我们任意变换两个节点在图结构中的空间位置时,整个图的结构是不变 的。如果用邻接矩阵表示图，调换邻接矩阵的两行,则图的最终表示应该是不 变的。在网格中,例如在图像上，如果我们变换两行像素，则图像的结构会明 显变化。因此,我们没有办法像处理图像一样直接用卷积神经网络处理图的邻 接矩阵，因为这样得到的表示不具有排列不变性。

3. 边的额外属性

        大部分图结构上的边并非只能取值二元的｛0，1｝，因为实体和实体的关系不 仅仅是有和没有，在很多情况下,我们希望了解这些实体关系连接的强度或者 类型。强度对应到边的权重，而类型则对应到边的属性。显然在网格中边 是没有任何属性和权重的，而卷积神经网络也没有可以处理边的属性的机制。

2.2将深度学习扩展到图上的挑战

        由于图结构的普遍性，将深度学习扩展到图结构上的研究得到了越来越多的关注,图神经网络（GraphNeuralNetworks,GNN）的模型应运而生。深度学习在图上的应用有以下几个难点。

（1）图数据的不规则性 

（2） 图结构的多样性

        作为表示实体关系的数据类型，图结构具有丰富的变体。图可以是无向的， 也可以是有向的;可以是无权重的，也可以是有权重的;除了同质图，还有异 构图等等。

（3） 图数据的大规模性

        大数据作为深度学习的‘燃料”’在各个应用领域发挥了重要的作用。在大 数据时代，我们同样面临大规模的图的处理难题。我们常用的图结构数据，如 互联网、社交网络、金融交易网络，动辄有数以亿计的节点和边，这对深度学 习模型的效率提出了很高的要求。

（4） 图研究的跨领域性

        我们介绍了各种各样的图,很容易发现图的研究是横跨很多不同的领域的，而在很多任务上，研究图的性质都需要具有领域知识。例如，对 分子图的性质进行预测，我们需要具有一些化学知识;对逻辑表达式的图进行 处理,我们需要具有一些逻辑学知识。

2.2图神经网络的分类

        通过图神经网络的发展历史，我们可以将它分成了谱域上的图神经网络和空域上的图神经网络。除此之外，根据不同的性质，图神经网络还可以分为：

 （1）卷积模式 vs 循环模式

        从信息传递的方式来看，图卷积网络等是模仿卷积神经网络定义了图上的 卷积操作，门控图神经网络等则是用序列上的循环神经网络模型来更新节点状态。随着图神经网络变形的增多，这种分类并不能包含所有的信息传递方式，但对我们理解图神经网络有很大的帮助。

（2） 有监督 vs 无监督

        根据有无标签(节点的标签或者图的标签),我们把图神经网络分为有监督的和无监督的。有监督的类别中又常常分为归纳式的和直推式的。归纳式的模型不需要测试数据出现在训练中，而直推式的模型则是半监督的，也就是在训练过程中已经包含了测试数据。

（3） 单图 vs 多 图

        很多谱域的图神经网络由于不能在不同的图之间共享参数，只能限定在单图的任务上；而有些图神经网络(如图匹配相关的网络)，由于要借助其他图的信息来学习节点的表示，只能限定在多图的任务上。大部分图神经网络既能在单图学习，也能在多图上学习。

3.图 神 经 网 络 的 应 用

3.1 图数据上的任务

        按照元素和层级划分，深度学习在图数据上的任务主要分为3类。

(1)节点上的任务：包括节点的分类、回归、聚类等。例如，在引文网络中，我们对每个论文节点的领域和主题进行预测，就是一个最常用的节点的分类任务。

(2)边上的任务：包括边的分类、链路预测等。链路预测在人工智能产品中有着广泛的应用，例如产品推荐就可以看作预测用户和产品之间的连接。

(3)图上的任务：包括图的分类、图的生成、图的匹配等。图的分类是基于图的表示对整个图的性质进行预测，例如分子图性质的预测、定理图正确与否的预测等。

        还有一些图上的任务并不能简单地归类到以上3类，尤其是一些图神经网络与其他任务结合的衍生任务，(如利用图神经网络的时间序列分析,把图神经网络作为编码器的,但它们大多也是基于图的某一层级的表示(节点或图)来展开的。

4.图神经网络的应用领域

        由于图结构的普遍性和图神经网络强大的表征能力，在实际应用中图神经网络已经拓展到了人工智能的各个领域，包括网络分析、自然语言处理、计算机视觉、推荐系统等。这里只列举一些常见的图结构和这些图上的应用。

        计算机视觉：计算机视觉是图神经网络应用最广泛的领域之一，在图像和视频中有很多容易建立的图结构。例如，图像中的像素、点云中的点，可以基于空间关系构建图，用于图像识别和图像分割;图像中检测到的目标物体联合起来，目标识别之后可以建立场景图，方便计算机更好地理解图像中的信息;而在视频中的动作识别任务中，人体骨架的各个部分也可以通过关节 的连接构成一个图，帮助我们进行人体动作的分析。

        自然语言处理：自然语言处理的对象通常是文本。虽然文本上没有明显的图数据，但实则隐藏着丰富的图结构。例如，句子可以利用语法树表示成图结构，从而获得更好的句子编码表示，在机器翻译、语义角色标注、语义分析等任务中都有重要的应用。另外，文本段落中的实体可以构成网络， 帮助问答系统；文本之间的相似度可以构建图来做文本分类，文本中的词也可以构成图来做文本分类等。

        物理系统/交通网：物理世界中的物体、交通网络中的传感器等，都可以描述成图结构中的节点，从而用图神经网络预测它们的状态或者它们之间的交互。

        化学/生物/医疗：蛋白质和分子本身的化学结构都可以表示成图,于是我们可以用图神经网络对它们建模，预测蛋白质的作用界面、 分子的性质和化学反应,以及新分子的生成等等。除此之外，药物和蛋白质之间的作用也可以表示成交互作用图,来做药物副反应的预测等。

        知识图谱：知识图谱上的任务通常包括知识图谱的补全、知识图谱上的推理、不同知识图谱的匹配、利用知识图谱辅助完成其他预测任务等。虽然知识图谱上的图嵌入有一套相对独立的方法,但是越来越多的研究者开始尝试用图神经网络的方法来探索这个领域。在知识图谱中，常见的任务是知识图谱的补全，也就是推断出知识图谱中缺失的节点或者关系。例如，我们只知道<卢浮宫，位于>,想要推断出“巴黎”;或者只知 道<卢浮宫，巴黎>,需要推断它们之间的关系。在知识图谱中，我们经常利用本来存在的关系推断出未知的隐含关系，如从<蒙娜丽莎，在，卢浮宫>和 <卢浮宫，位于，巴黎>推断出<蒙娜丽莎，在巴黎>。

        推荐系统：推荐系统一般构建在用户---产品图上，根据用户的购买习惯对用户推荐产品，可以看作一个异构图上的链路预测问题。

        金融：在金融领域，常见的任务有反洗钱、欺诈检测等。如果我们把交易双方作为节点，交易本身作为边，则在金融交易的图结构里，这两个任务就相当于边(或节点)的分类。

        组合优化问题：图上的很多问题都是NP 困难的。这些问题同样可以采用 图神经网络来近似，如SAT 问题、TSP问题、图染色问题等。

        其他：随着图神经网络的研究越来越深入，它的应用延伸的领域也越来越广泛，有定理证明，程序推断，迁移学习，强化学习等。由于图结构的普遍性，图神经网络的潜在应用几乎无处不在。