在经典卷积网络中,对于输入数据有如下要求:
- 只能处理固定输入维度的数据
- 局部输入数据必须有序
语音、图像、视频等规则结构数据满足以上要求,但是并不适用于图结构数据。
那么,如何将卷积操作扩展到图结构数据中呢?
图卷积中,大致分为两类:
- 谱域图卷积
- 根据图谱理论和卷积定理,将数据由空域转换到谱域做处理
- 理论基础坚实
- 空域图卷积
- 不依靠图谱卷积理论,直接在空间上定义卷积操作。
- 定义知观,灵活性更强。
一 、谱域图卷积简介
1. 什么是卷积?
根据卷积定理,两信号在空域(或时域)的卷积的傅里叶变换等于这俩个信号在频域中的傅里叶变换的乘积:
其中,
也可以通过反变换的形式来表达:
其中,
如此卷积操作有什么意义呢?
- 将空域型号转换到频域,然后相乘。
- 将相乘的结果再转换到空域。
2. 如何定义图上的傅里叶变换呢?
回到我们想要探讨的图结构中,如何定义图上的傅里叶变换呢?
基于图谱理论,我们可以使用图傅里叶变换。
经典傅里叶变换如下:
图傅里叶变换如下:
二、拉普拉斯矩阵(Laplacian Matrix)
1 . 拉普拉斯矩阵的符号定义
- 无向图
,其中
- 邻接矩阵
- 度矩阵
,
2 . 拉普拉斯矩阵的定义
定义:度矩阵减去邻接矩阵。
3 . 拉普拉斯矩阵是对称半正定矩阵
证明如下:
对任意向量
也就是说,
那么作为半正定矩阵,拉普拉斯矩阵有哪些性质呢?
- n阶对称矩阵一定有n个线性无关的特征向量。
- 对称矩阵的不同特征值对应的特征向量相互正交,这些正交的特征向量构成的矩阵为正交矩阵。
- 实对称矩阵的特征向量一定是实向量。
- 半正定矩阵的特征值一定非负。
4 . 拉普拉斯矩阵的谱分解
特征分解,又称谱分解,是将矩阵分解为其特征值和特征向量表示的矩阵之积的方法。
上一小节中有说到,n阶对称矩阵一定有n个线性无关的特征向量。n维线性空间中的n个线性无关的向量都可以构成它的一组基。i.e. 下图中,当我们在这个空间中再画一个向量,这个向量都可以用下图中u1和u2来线性表示。
根据矩阵论的知识,对称矩阵的不同特征值对应的特征向量相互正交,这些正交的特征向量构成的矩阵为正交矩阵。
➢ 拉普拉斯矩阵的n个特征向量是n维空间中的一组标准正交基。
5 . 拉普拉斯矩阵与拉普拉斯算子
重要结论:拉普拉斯矩阵是图上的一种拉普拉斯算子。
5.1 拉普拉斯算子
定义:
对于n维欧几里得空间,我们可以认为拉普拉斯算子是一个二阶微分算子。即在各个维度求二阶导数后求和。
在3维欧几里得空间,对于一个三元函数
5.2 离散情况下欧氏空间的拉普拉斯算子
➢ 离散函数的二阶导数
类似的,对于两个变量的函数
那么两个变量的离散拉普拉斯算子可以写成:
5.3 图上的拉普拉斯算子
欧式空间内,二维的拉普拉斯算子可以理解为中心节点与周围节点的差值,然后求和:
类似地,在图上的拉普拉斯算子定义如下:
其中,
当有权重时, 图上拉普拉斯算子定义调整为:
可以理解为中心节点依次减去周围节点,乘以权重后,然后求和:
对于n个节点有:
得到结论:拉普拉斯矩阵是图上的一种拉普拉斯算子。
6 . 总结
- ➢ 拉普拉斯矩阵的n个特征向量是n维空间中的一组标准正交基
- ➢ 实数拉普拉斯矩阵的特征向量一定是实向量。
- ➢ 拉普拉斯矩阵的特征值一定非负。
- ➢ 拉普拉斯矩阵是图上的一种拉普拉斯算子。