GNN教程：图神经网络“开山之作”！

↑↑↑关注后"星标"Datawhale

每日干货 & 每月组队学习，不错过

 Datawhale干货 

作者：秦州，算法工程师，Datawhale成员

引言

本文为GNN教程的第二篇文章 【GCN介绍】，取自Kipf et al. 2017，文章中提出的模型叫Graph Convolutional Network(GCN)，个人认为可以看作是图神经网络的“开山之作”，因为GCN利用了近似的技巧推导出了一个简单而高效的模型，使得图像处理中的卷积操作能够简单得被用到图结构数据处理中来，后面各种图神经网络层出不穷，或多或少都受到这篇文章的启发。

后台回复【GNN】进图神经网络交流群。

1. 问题定义

考虑图（例如引文网络）中节点（例如文档）的分类问题，假设该图中只有一小部分节点标签（label）是已知的，我们的分类任务是想通过这部分已知标签的节点和图的结构来推断另一部分未知标签的节点的标签。这类问题可以划分到基于图结构数据的半监督学习问题中。半监督学习（semi-supervised learning）是有监督学习的一个分支，主要研究的是如何利用少量的有标签数据学习大量无标签数据的标签。

为了对节点进行分类，首先我们可以利用节点自身的特征信息，除此之外，我们还可以利用图结构信息，因此一个典型的图半监督学习问题可以对两个损失函数一起优化：

其中， 基于基于标签数据的损失函数（loss function）， 代表基于图结构信息的损失函数， 是调节这两种损失函数相对重要性的超参（hyperparameter）。

一般来说，基于图结构信息的损失函数可以表示成：

其中， 是类似神经网络的可微分函数， 在无向图 中，假设有 个节点 ， 为节点特征向量构成的矩阵，其中 表示节点 的特征向量，边 ， 邻接矩阵表示为 （可以是二值的(bianry)，也可以是加权的(weighted)），度矩阵 。 表示无向图 的未正则化图拉普拉斯算子。这样的损失函数希望对相邻节点的特征向量做限制，希望它们能尽量相近。

显然，这样的学习策略基于图中的相邻节点标签可能相同的假设（因为损失函数要求相邻节点的特征向量尽量相似，如何他们的标签不相似的话，那么不能学习到一个从特征向量到标签的有效映射）。然而，这个假设可能会限制模型的能力，因为图的边在语义上不一定代表所连接节点相似。还有一种可能是图中有大量的噪声边。

因此，在这个工作中，作者不再显示的定义图结构信息的损失函数  , 而是使用神经网络模型 直接对图结构进行编码，训练所有带标签的结点 ，来避免损失函数中的正则化项 。

这篇文章的主要贡献是为图半监督分类任务设计了一个简单并且效果好的神经网络模型，且这个模型由谱图卷积(spectral graph convolution)的一阶近似推导而来，具有理论基础。

2. 图上的快速卷积近似

这一节介绍如何从谱图卷积推导出GCN的逐层更新模型，涉及到一些谱图理论的知识，可以安全的跳过这一节，后面我们会为谱图卷积专门出一个专栏的文章，将详细讨论它们。

这一节主要介绍图卷积网络GCN逐层更新(propagation)的理论推导。多层图卷积网络(Graph Convolutional Network, GCN)的逐层传播公式：