一、为什么要研究图卷积(GCN)?
CNN只能处理 Euclidean Structure 的数据,如CV、NLP这些领域的数据,但无法处理 Non Euclidean Structure 的数据。真实世界中,大多数数据以图或者网络的形式存在,比如社交网络,知识图谱等。
![d2ca9eb1654a9ae62eb3c6d8e33a06cf.png](https://i-blog.csdnimg.cn/blog_migrate/078dbb1de1447e70bdb818865f6611fd.jpeg)
二、CNN可以直接迁移到GCN吗?
不能。因为 Non Euclidean Structure 的数据无法保持平移不变性。具体来说,由于在拓扑图中每个顶点的相邻顶点数目都可能不同,因此无法用一个同样尺寸的卷积核来进行卷积运算。需要在图上重新设计卷积的方法,而目前图卷积方法主要分为两大类:谱方法(Spectral Methods)和 空间方法(Spatial Methods)。
谱方法 :大概思路是通过傅里叶变换等将图数据从空间域映射到谱域,然后在谱域实现卷积,最后再将处理后的信号映射回空间域。
空间方法 :在空间域直接定义卷积, 这里的卷积被定义为所有邻居结点的加权平均函数。但主要问题是由于每个结点的邻居大小不一样,很难实现参数共享。
三、传统傅里叶变换与图傅里叶变换
3.1 图拉普拉斯矩阵引入
“谱” 这个概念的时候比较抽象,确实不好理解。可以简单的认为 谱 实际上就是对一个信号(视频,音频,图像,图)分解为一些简单元素的线性组合(小波基,图基)。如果这些分解的元素之间是线性无关的的(正交的),便可以作为信号的基。在信号处理中最常用的谱是傅里叶变换,它提供了不同频率下的正弦和余弦波作为基,从而我们可以将信号在这些基进行分解。
为了满足傅里叶变换要求, 需要找到连续的正交基对应于傅里叶变换的基。而图上的拉普拉斯矩阵恰好满足这些条件,它的特征值分解过程就是我们寻找构造图所需的正交基的过程。
- 拉普拉斯是半正定实对称矩阵, 对称矩阵一定n个线性无关的特征向量
- 实对称矩阵具有n个特征值,所对应的n个特征向量相互正交
- 半正定矩阵特征值非负
- n 阶实对称矩阵L必可对角化, 且可用正交矩阵对角化
拉普拉斯矩阵谱分解为:
其中,
3.2 传统傅里叶变换
传统傅里叶变换定义为:
逆变换为:
3.3 图傅里叶变换
设
Graph上的傅里叶变换可以表示为:
逆变换为:
四、传统傅里叶卷积与图卷积
传统傅里叶卷积:
卷积定理:函数卷积的傅里叶变换是函数傅立叶变换的乘积,即对于函数
证明如下:
设两时域信号
傅里叶变换为:
图卷积:
卷积定理在图上也是成立的,设
其中,
由于卷积核可以通过学习或者设计得到,我们可将
其中,
所以,图卷积最终的结果可表示为:
五、图卷积变换完整过程举栗
给定一个图
- 计算得到图拉普拉斯矩阵
2. 归一化图拉普拉斯矩阵
3. 求图
对
4. 然后将图的拉普拉斯矩阵对角化
5. 得到图的傅里叶变换
对信号进行傅里叶变换即
6. 最后计算图卷积
参考资料:
Nango 明楠:图卷积网络GCN的理解与介绍zhuanlan.zhihu.com![a8c71cb4a3c65fa8351c4e0fcde12f05.png](https://i-blog.csdnimg.cn/blog_migrate/f46fa621974ae80c295568146344256b.png)