《图神经网络--基础与前沿》的读书报告之一

《图神经网络–基础与前沿》的读书报告之一

世间万物，皆有联系。图作为一种广泛存在的结构，可以有效地对数据及数据之间的联系联合建模，进而完成更有效和精准的推理。
现实中的诸多应用带来了革命，而卷积神经网络和循环神经网络不能直接应用于一般的图结构中，而图神经网络有效地解决了这个问题，卷积神经网络扩展到了图结构上。

• 引言
• 预备知识
• 图神经网络模型介绍

---

引言

我们生活在一个充满图的世界，如最熟悉的深交网络，如下图所示。在计算机领域，通常用图指代一种广义的抽象结构，用来表示一堆实体和他们之间的关系。一个图 G = { V , E } G=\{\mathcal{V}, \mathcal{E}\} G={V,E}包含一个节点集合$\mathcal{V}$和一个边的集合$\mathcal{E}$.

在人工智能的研究和应用产品中，图结构的数据也占据了非常重要的地位。

• 在自然语言处理中常用的知识图谱,是用来表示领域知识、促进知识推理不可或缺的载体;
• 用于生物研究的蛋白质网络,能够表示蛋白质之间的相互作用;
• 在化学中,如果我们把原子看成节点,将原子间的化学键看成边那么所有分子都是天然的图结构;
• 物联网传感器之间需要连接成图,共同获取监测状态;互联网之中的链接关系让所有网页形成链接图;
• 论文中的引用关系让所有论文形成引文图;
• 金融交易让交易双方形成交易图。
• 一个典型的例子是文本摘要中利用句子之间的相似性构建的图，对早期文档摘要领域做出了巨大的贡献
• 在定理证明中,逻辑表达式可以表示成由变量和操作构成的图
• 程序也可以表示成由变量构成的图,用来判断正确性;
• 在多智能体 (Multi-agent) 系统中,agent 之间的隐性交互也被当作图来处理.

深度学习与图

图数据的特殊性质

1. 节点的不均匀分布
2. 排列不变性
3. 边的额外属性

将深度学习扩展到图上的扩展

1. 图数据的不规则性
2. 图结构的多样性
3. 图数据的大规模性
4. 图研究的跨领域性

图神经网络的分类

1. 谱域图神经网络
2. 空域图神经网络

---

预备知识

一个图有一些顶点$\mathcal{V}$和连接这些顶点的边$\mathcal{E}$组成。

图的基本概念

1. 邻接矩阵: 表示顶点直接的连接关系；
2. 顶点的度: 表示与顶点连接的边的总数；
3. 度矩阵
   $$d_{i,j}=\{\begin{array}{ll}d(v_i),& 如果i=j,\\ 0,& 其他.\end{array}$$
4. 路径
5. 距离
6. 邻居节点
7. 权重图
8. 有向图
9. 图的遍历
10. 图的同构

---

图神经网络模型介绍

图神经网络氛围基于谱域的模型和机遇空域的模型。

基于谱域的图神经网络

三个具有代表性的谱域图神经网络

1. 谱图卷积网络（Spectral GCN）
2. 切比雪夫网络
3. 图卷积网络

谱图卷积网络

由于图的节点不均匀性、排列不变性及额外的边属性，规则网格上的卷积网络不能直接应用到图中。

下面定义图的卷积:
定理1 卷积定理: 函数卷积的傅里叶变换是函数傅里叶变换的乘积，即
F { f ∗ g } = F { f } ⋅ F { g } { g } = f ^ ⋅ g ^ , \mathbb{F\{f*g\}}=\mathbb{F}\{f\}\cdot \mathbb{F}\{g\}\{g\}=\hat{f}\cdot\hat{g}, F{f∗g}=F{f}⋅F{g}{g}=f^​⋅g^​,
其中 F { f } \mathbb{F}\{f\} F{f}表示$f$的傅里叶变换得到对应的谱域信号$\hat{f}$.

给定一个图信号$x$与一个滤波器$g$的卷积操作：
x ∗ g = F − 1 { F { f } ⋅ F { g } } = U ( U T x ⊙ U T g ) = U g θ U T x \begin{align} x*g &= \mathbb{F}^{-1}\{\mathbb{F}\{f\} \cdot \mathbb{F}\{g\}\}\\ &= U(U^Tx \odot U^Tg ) \\ &= Ug_\theta U^T x \end{align} x∗g​=F−1{F{f}⋅F{g}}=U(UTx⊙UTg)=Ugθ​UTx​​
其中$g_{\theta }$是对角线元素为$\theta$的对角阵, $\odot$表示Hadamard乘积.
我们可以将它看成一个图信号c,进行了如下三个步骤的变换:

1. 将空域的图信号 : 进行图论傅里叶变换,得到 $\mathbb{F}(x)=Ux$。
2. 在谱域上定义可参数化的卷积核 go,对谱域信号进行变换,得到 $g_{\theta }{U}^{T}x$
3. 将谱域信号进行图论傅里叶逆变换,将其转换成空域信号 ${\mathbb{F}}^{-1}(g_{\theta }{U}^{T}x)=U{g}_{\theta }{U}^{T}x$。

傅里叶变换为谱域上的图卷积指明了方向，但是它仍有诸多需要改善的地方。

我们需要计算出图拉普拉斯矩阵的特征向量,这是一个 $\mathcal{O}(n^3)$复杂度的操作(n为节点数量)

每次向前传递的矩阵运算是很费时的操作。

当图很大时,参数可能过多,计算量大且不容易拟合。

这种谱域卷积方式在空域上没有明确的意义,不能明确地局部化到顶点上。

---

[1] 马腾飞.图神经网络:基础与前沿[M].电子工业出版社,2021.