图卷积神经网络，为图与数据分类提供向导 | 数学博士 · 科普专栏

Steven Hou 前言

如今深度学习技术渗透到现实世界的每一个角落，传统理工科方向纷纷靠拢深度学习，最终他们是否也能席卷设计人文等等学科呢？

我坚信利用最先进的深度学习方法结合特有问题的领域知识，才能达到未来。这也是我希望实现的泛 AI 范式。

所以这个专栏只介绍近三年最先进的最有趣的深度学习算法，欢迎一切持有特有问题的领域知识，并对泛 AI 开发感兴趣的小伙伴加入文末读者群联系我。

---

数据可分为：欧几里德数据与非欧几里德数据。

欧几里德数据可以由规整的矩阵进行表示，常见的数据为图片，语音，自然语言等。非欧几里德数据为结构化数据，主要有图数据，流形数据。

现实世界，许多重要的数据都以图的形式出现：社交网络，知识图谱，蛋白质相互作用网络等。

这就是一个正规的非欧几里德图数据，每个人表示一个节点 V，人与人之间存在的关系（比如人与人之间微博相互关注，微信是好友等）表示一条边 E，从而将整体结构化数据抽象为一个数学上的图 G（V，E）。

将图的研究问题分为三类：

1- 对节点进行分类。

如判断社交网络中，你是否属于某个团体，贴标签的行为。

2- 对边进行预测。

如判断社交网络中两个人是否是好友。

3- 对整个图进行分类。

对整个社交网络的类型进行分类。

 

深度学习在过去引发了人工智能的革命，同时极大地促进了各种学科的泛AI化。

以深度神经网络为模型，并通过后向传播算法进行参数更新的深度学习算法，在计算机视觉，自然语言处理，推荐系统等领域彻底战胜了机器学习加特征提取的传统范式。最近，大量研究者将注意力集中在：将深度神经网络模型推广到结构化数据集上。

本文主要介绍一种通用的图数据的深度学习结构——图卷积神经网络。

 

图卷积神经网络思路来源于计算机视觉中最常用的卷积神经网络泛化到图上。卷积运算在泛函分析中的定义如下：

卷积运算实质上定义了一种新的运算，即将一个函数g（卷积核）翻转与另一个函数f（信号或特征）相乘后积分。因为图数据（此处给出图片）无法给出对称结构，节点的邻居个数无法确定，因此卷积核参数的个数无法适应邻居个数的不规则，导致了普通的卷积神经网络无法直接应用。

 

借助于如下所示的卷积定理：

F（f）为对f函数进行傅里叶变换，因此，我们可以对卷积运算简化为两个函数的傅里叶变换的乘积再作傅里叶逆变换。

 

数学中，傅里叶变换及其逆变换公式如下：

由上述公式可知，傅里叶变换实际上是将信号映射到一组的基向量空间上。因此，对应图信号，我们需要做的依然是找到可以映射的正交基向量。因此，我们将图上的关系表征——拉普拉斯矩阵，进行谱分解，用拉普拉斯矩阵的特征向量U代替传统傅里叶变换的正交基。因此，图上的傅里叶变换定义为：

图傅里叶变换为将图上的特征信号映射到图拉普拉斯矩阵的特征空间中。其逆变换公式如下：

我们有了图信号的傅里叶变换后，自然可以带入到卷积定理中，因此，图数据的卷积公式如下：

 

至此，我们将传统卷积公式推广至了图数据之上。经过切比雪夫多项式近似后，单层图卷积计算公式如下：

此模型可以使用1阶切比雪夫多项式进行近似，最终可以得到图卷积神经网络的特征传播公式如下：

使用简单的图卷积神经网络模型在著名的图数据集：Zachary空手道俱乐部网络（这是一个传统的社交网络，由34名成员组成，并记录俱乐部外部互动的成员之间的成对边。）上进行节点的分类，即区分俱乐部随后分为的两个社区，由教员（节点0）和俱乐部主席（节点33）领导的两伙成员。

 

采用随机初始化权重的三层GCN。将图信号定义为简单的单位矩阵。三层GCN在正向传递过程中执行三次邻居节点间信息传播步骤，并有效地卷积每个节点的三阶邻域，最终可以实现及其优秀的分类效果。

 

网络的可视化如下，其颜色指示不同的团伙：

关于这个主题的研究现在十分火热，在各大机器学习顶级会议上出现了令人兴奋的发展，这篇文章对图上卷积神经网络进行了数学上的详尽回顾。后期会用简单的代码重现这种图上卷积的信息传递过程，以及介绍图卷积神经网络的最新发展。

专栏作者：Steven Hou

利物浦大学 | 数学科学专业博士生

研究方向：结构化深度学习，可解释性深度学习，矩阵理论

探索一切泛AI的应用，AI+艺术，AI+医疗等等

排版 / 编辑：春FANG

编辑助理：小杜

排版建议：MooDesign