图卷积神经网络

最新推荐文章于 2024-08-02 17:39:22 发布

回想sy

最新推荐文章于 2024-08-02 17:39:22 发布

阅读量3.1k

点赞数 1

分类专栏：深度学习文章标签：深度学习

本文链接：https://blog.csdn.net/weixin_49708196/article/details/124333242

版权

深度学习专栏收录该内容

8 篇文章 1 订阅

订阅专栏

图卷积神经网络概述

要将图像上的卷积拓展到图上，需要定义一种新的图卷积方法。然后就演变出了两种方法

Spectral method：用 spectral domain 来定义卷积。
- 通过图上的傅里叶变换来定义卷积
- 主要的挑战是卷积滤波器不是局部化的，这个是个致命的缺点
Spatial method：用 vertex domain 来定义卷积。类比于图像上的二维卷积，照葫芦画瓢

Spectral method

1. Spectral method for graph convolutional neural networks

1.相关概念

给定一个图 $G = (V, E, W)$ , $V$ 是节点集合，假设有 $n$ 个节点， $W\in R^{n\times n}$ 是邻接矩阵，每个节点还有 $d$ 维特征， $x\in R^{n \times d}$ 是节点们的特征向量矩阵。

Laplacian 矩阵

$L = D - W$ , $D$ 是一个对角矩阵并且 $D_{ii}=\sum_jW_{i, j}$

normalized Laplacian 矩阵

$L=I-D^{-\frac{1}{2}}WD^{-\frac{1}{2}}$

2.图上的傅里叶变换

图上的傅里叶

傅里叶变换的一系列的正交基 ${u_l\}_{l=1}^n$ 通过其特征值 $\{\lambda_l\}_{l=1}^n$ ，然后图 Laplacian 矩阵就可以被对角化 $L=U\Lambda U^T$ ，其中 $U=[u_1, \cdots, u_n]$ ， $\Lambda=diag([\lambda_1, \cdots, \lambda_n])$

图傅里叶变换

单个向量 $x\in R^n$ 的图傅里叶变换为 $\hat{x}=U^Tx$ ，逆变换为 $x=U\hat{x}$

3.定义 spectral domain 上的卷积

卷积定理：两个信号的卷积可以看作他们的傅里叶变换的卷积，如下面公式所示，其中 $_G$ 代表卷积算子。

$*_G y = U((U^Tx)\odot (U^Ty))$

其中 $\odot$ 代表 point-wise 乘积，spectraldomain 里的卷积核就是 $U^T y$ 。

令 $U^Ty=[\theta_0,\cdots,\theta_{n-1}]$ 并且 $g_\theta = diag([\theta_0, \cdots, \theta_{n-1}])$ ，我们有

$*_G y = Ug_{\theta}U^Tx$

到此可以写出 Spectral Graph CNN，

$x_{k+1, j}=h(\sum_{i=1}^{f_k}UF_{k, i, j}U^Tx_{k, i}), j=1,\cdots, f_{k+1}$

其中 $x_{k, i}$ 式第 $k$ 层的信号向量， $F_{k, i, j}$ 是第 $k$ 层的 filter。

4. Spectral graph CNN 的缺点

要求出 Laplacian 矩阵的特征分解，要显式的求出矩阵 $U$ 。
矩阵相乘的次数太多，计算复杂度太高。是 $O(n^2)$
不是局部化的，用的信息不是局部点的信息。

2.ChebyNet: parameterizing filter

为了解决 spectral graph cnn 的三个缺点，考虑用多项式近似参数化卷积核，

$g_{\theta}=diag([\theta_0, \cdots, \theta_{n-1}])\rightarrow g_{\beta}(\Lambda)=\sum_{k=0}^{K-1}\beta_k\Lambda^k, \Lambda=diag(\lambda_1, \lambda_2, \cdots, \lambda_n)$