图神经网络---图卷积神经网络

最新推荐文章于 2024-09-11 15:32:04 发布

Jankin_Tian

最新推荐文章于 2024-09-11 15:32:04 发布

阅读量2.1k

点赞数 5

分类专栏： Graph 图神经网络学习机器学习基础知识文章标签：图神经网络

本文链接：https://blog.csdn.net/xiao_xian_/article/details/115729152

版权

14 篇文章 6 订阅

订阅专栏

3 篇文章 1 订阅

订阅专栏

一、图卷积神经网络

1）Graph的结构是一种非欧几里得空间的数据(Non Euclidean Structure)【通俗的说：在Graph中每个节点的相邻节点的数目都可能不同】，所以无法直接使用CNN。
2）广义上来说，任何数据都可以建立拓扑关联（谱聚类的思想）。

提取拓扑图的空间特征。

在这里插入图片描述

已知条件
1）图的结构：节点的连接关系；是否是有向图。
2）每个节点对应的 Feature
3）将特征应用于具体任务【比如，在节点分类中是：未知节点中哪些属于已知的类别】
计算过程：
得到节点特征表示 $\longrightarrow$ 类似全连接或卷积的网络提取特征 $\longrightarrow$ 得到结果表示

1）邻接矩阵【图结构】 $A$
邻接矩阵的维度是： $n \times n$
$\begin{cases} a_{ij} = 1 表示节点 i 和节点 j 存在连接 \\ a_{ij} = 0 无连接 \end{cases}$
- 1.1）无向图的邻接矩阵是对称的。
2）度矩阵 $D$
度矩阵的维度是： $n \times n$
只在主对角线上有值。
$\begin{cases} d_{ij} = deg(v_i) \qquad if i = j \\ d_{ij} = 0 \qquad 其他情况 \end{cases}$
- 2.1）无向图出现自循环时，度数 $+ 1$
  这也就是在下图中，节点 1 的度数为 4 的原因。

$\begin{cases} vertex \ domain(spatial \ domain,节点域；空间域) \\ spectral \ domain（谱域） \end{cases}$

定义：
找到每个目标节点的所有相邻节点，然后对目标节点进行特征聚合。
存在的问题：
1、如何寻找目标节点的相邻节点？（相对于 CNN 里面的概念就是，如何确定感受野？）
2、如何处理非欧式空间的数据？（如何处理包含不同数目的相邻节点的特征？）
解决方式：
1、首先，根据路径的长短，确定相邻节点的数量
2、然后，将相邻节点直接加到目标节点之上。

参考论文：Learning Convolutional Neural Networks for Graphs

定义：
通过Graph 的拉普拉斯矩阵的特征值和特征向量来研究图的性质。
什么是拉普拉斯矩阵(Laplacian)？：
拉普拉斯矩阵的计算过程：
$\\ L 是拉普拉斯矩阵 \\ D 是度矩阵，A 是邻接矩阵$
举个例子，如下图所示：
常见的拉普拉斯矩阵计算方式：
$\begin{cases} L = D - A \qquad \rightarrow 组合拉普拉斯算子(Combinatorial Laplacian) \\ L = D^{- \frac{1}{2}} A D^{- \frac{1}{2}} \qquad \rightarrow 对称归一化拉普拉斯算子(Symmetric normalized Laplacian) \\ L = D^{-1} A \qquad \rightarrow 随机游走归一化拉普拉斯算子(Random walk normalized Laplacian) \end{cases}$
为什么要用拉普拉斯矩阵(Laplacian)？：
1、拉普拉斯矩阵是对称矩阵，可以进行特征分解（谱分解；对角化）
2、拉普拉斯矩阵只在中心顶点和一阶相邻相连的节点上有非 0 元素，其余位置均为 0 。

注意：
（1）不是所有的矩阵都可以特征分解。【矩阵进行特征分解的充要条件是：n 阶方阵存在 n 个线性无关的特征向量。】
（2）拉布普拉斯矩阵是半正定矩阵。【半正定矩阵是对称矩阵】（根据下面的性质，可以得到拉普拉斯矩阵一定可以谱分解。）
- 1) 对称矩阵一定存在 n 个线性无关的特征向量。
- 2）半正定矩阵的特征值一定是非负的。
- 3）对称矩阵的特征向量相互正交，即所有的特征向量构成的矩阵为正交矩阵。
- 4）正交矩阵若是 $A$ 为正交矩阵，则存在 $A A^T = E$ ，也就是 $A^T = A^{-1}$
拉普拉斯矩阵的谱分解：
- $\lambda U^{-1}$
- $U$ 是列向量为特征向量的矩阵。其中 $(\mathop{u_1}\limits ^{\rightarrow},\mathop{u_2}\limits ^{\rightarrow},...,\mathop{u_n}\limits ^{\rightarrow} )$ 【左乘行，右乘列。解读：左乘对角矩阵是行变化，右乘对角矩阵是列变换。】
- $\lambda$ 是特征值构成的对角矩阵。

在这里插入图片描述

具体的公式可以表示为：
$H^{l+1} = \sigma(\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} H^{(l)} W^{(l)})$
对比上述公式可以得到： $图结构特征：A^{'} = \tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}}$
1、GNN 逐步计算过程
$\\ \downarrow \\ \tilde{D}^{-1} \tilde{A} x \\ \downarrow \\ \tilde{D}^{-1} \tilde{A}\tilde{D}^{-1} x \\ \downarrow \\ \tilde{D}^{-\frac{1}{2}} \tilde{A}\tilde{D}^{-\frac{1}{2}} x$
1）为什么需要图结构特征 $A^{'}$ ？
因为在相同的图节点中，不同的节点连接，就能得到不同的节点特征表示。
2）图结构特征 $A^{'}$ 是固定的吗？
答：是固定的，因为这代表了图中节点之间的连接，所以是固定的。
3）图结构特征为什么用 $A^{'}$ 表示，而不用 $A$ ？
答： $A$ 代表最原始的图结构， $A^{'}$ 则是在 $A$ 上进行了变化，更有利计算。
2、 $\tilde{A}$ 得到的过程

最直观的节点特征表示： $A \times x$
但是这种操作存在一个问题：就是不存在目标节点自身的节点特征。

为了解决上述问题：

$\tilde{A} = A + \lambda I$
其中 $I$ 表示单位矩阵。

3、 $\tilde{D}$ 得到的过程

相对应的度数矩阵也进行变化

$\tilde{D} = D + \lambda I$
其中 $I$ 表示单位矩阵。
4、为什么取逆矩阵？
神经网络对输入数据非常敏感，一般来说，我们希望对所有的向量进行归一化操作（缩放）。
在本身的矩阵上乘一个对角线矩阵，就可以减小规模
5、为什么分别左乘和右乘度的逆矩阵？
$\begin{cases} 左乘：表示对邻接矩阵的行信息进行变换 \\ 右乘：表示对邻接矩阵的列信息进行变换 \end{cases}$
6、为什么使用 $\tilde{D}^{-\frac{1}{2}}$ ？
为了进一步减少计算规模
节点分类的公式：