图神经网络-introduction 0 from李宏毅《机器学习》

一、什么是图神经网络？

图神经网络 GNN 包括了两个关键词，图和神经网络。

图是一种由节点和边组成的数据结构。从简单的地铁路线图，到RB Tree，到社交网络，知识网络，再到复杂的化学分子结构都可以看作是一种图。

神经网络是一种由参数权重组成，能基于反向传播端到端训练学习的模型统称。从简单的全连接层感知机，CNN，RNN，到复杂的Transformer架构都可以看作是神经网络。

二、我们为什么需要 GNN 呢？

业界有很多基于图的数据迫切需要我们能把它输入模型进行处理。
比如说，我们想让机器来辨识某一种化学分子式能否导致突变，需要一个能处理图数据结构的分类器。
论文来源：https://persagen.com/files/misc/scarselli2009graph.pdf

再比如，新冠状病毒需要开发新药。新药的化学分子可以通过GNN生成出来，从而加速研发周期，快速找到能有效对抗病毒的新药。
论文来源：GraphVAE

侦探片剧情中有很多角色，我们希望通过社交图谱找到杀害主角爸爸的凶手是谁。每个角色可以看作是一个实体，包括了他的职业性格出生和偏好等，作为图谱的节点。角色之间有各种各样的互动关系，作为图的边。仅凭角色的嵌入也是可以进行分类判断，但GNN能够让我们利用潜在的角色关系，更好地做出判断。
对于无标注的节点，可以利用近朱者赤，近墨者黑的原则，来把无标注的节点标注成与它周边邻居最接近的标签。

对于无标注的节点，可以利用近朱者赤，近墨者黑的原则，来把无标注的节点标注成与它周边邻居最接近的标签。

GNN 现在要解决的问题：

1. 我们如何利用 GNN 强大的表征能力，来为复杂的关系依赖建模？
2. 当图非常大，节点特别多的时候，我们要如何建模？
3. 当我们只有部分标签的时候，要如何建模？

三、GNN 要如何做？

这个问题实质在问，神经网络要如何聚合图结构中的信息呢？

对于矩阵输入，我们可以用卷积滑动窗口聚合空间上相邻的信息。但对于图结构的输入，这会有点不一样。因为卷积过程中的滑动窗口是固定的，但图结构中某个节点的邻居不是固定的个数。

这是一个全景图，下一期我们会细讲 GNN 如何做聚合操作。

如何把节点的嵌入用卷积来把它们的关系表征到一个特征空间。目前业界有两种主流做法：

1. 把CNN的方法泛化，考虑节点周边的邻居关系进行空间上的卷积，比如 GAT。
2. 利用卷积本质是频域上的滤波这一特性，在频域上操作，比如 GCN。

四、GNN 的任务，数据集和 Benchmark？

论文见：Benchmarking Graph Neural Networks

可以用到 GNN 的常见任务有半监督节点分类，回归，图分类，图表征学习以及边的预测。常见的数据集有CORA和TU-MUTAG等。

以上数据集分别是MNIST, CIFAR10，ZINC，PATTERN and CLUSTER ， TSP，进行的任务是依次分类（acc），回归（溶解度性能指标预测, MAE），节点分类（acc），和边分类（acc)

图分类：这两个是分类数据集。MINIST 和 CIFAR10 图像会以超像素为节点，构建图输入给模型。模型需要根据图的结构来判断它是哪个类别。

图回归：通过分子结构来预测其溶解性。

SBM 数据集的任务有两个：一个是从大图 G 中找到一个固有的图模式 P，另一个是做半监督的图聚类。二者实则都是在对节点进行分类。

边分类：利用机器学习来解决NP-hard组合优化问题，比如经典的旅行社问题。我们要找到具有最小总边沿权重（旅行长度）的最优节点序列（称为旅行）。这实际上是对边进行二分类任务。

总结：本期内容来自于李宏毅助教姜成翰在《机器学习》这门课上的补充内容。这一期主要是对 GNN 基本的应用有个了解。往后会一期期综述 GNN 的主流模型和方法，以及在 NLP 上的一些应用。综述论文清单会全部参照清华大学总结的 Paper list。