图网络上的卷积

最新推荐文章于 2023-09-15 16:13:44 发布

w55100

最新推荐文章于 2023-09-15 16:13:44 发布

阅读量1k

点赞数 1

分类专栏： GNN

本文链接：https://blog.csdn.net/w55100/article/details/108886884

版权

GNN 专栏收录该内容

14 篇文章 2 订阅

订阅专栏

前置知识

基本符号

梯度▽，对数量场求梯度▽u，结果为向量。
散度▽·，注意散度符号有点。对向量场求散度▽·A ，点乘结果为数。
拉普拉斯算子△，或写为 $^2$ ，定义为梯度的散度。
于是有

$\\ △f=▽^2f = ▽\cdot ▽f = div(grad(f))$

图上的拉普拉斯矩阵

定义式

$L = D - W$
Combinatorial Laplacian

对象为图时，
W即为邻接矩阵A，此时可改写 $L = D - A$
D是一个对角矩阵，对角元素为图上各节点的入度。

性质:n个特征值非负

#https://zhuanlan.zhihu.com/p/67336297

这篇文章的KG矩阵符号正负写反了，或者说定义写反了。
应该是算梯度时，边射出顶点为负，射入顶点为正。这样符合终点减起点的直觉。[f(v1)-f(v0)]/d01。
算散度时，该点处，射出梯度为正，输入梯度为负。出梯度减入梯度得散度。

归一化后的拉普拉斯矩阵（Symmetric normalized Laplacian），简记为 $L^{sym}$ 。
$L^{sym}=D^{-\frac{1}{2}}LD^{-\frac{1}{2}}=I_{n}-D^{-\frac{1}{2}}AD^{-\frac{1}{2}}$
显然L是实对称矩阵，因此可以正交分解为
$L=U\Lambda U^T$
其中 $U$ 为n个单位特征向量作为列向量排列而成的正交矩阵。
$\Lambda$ 为n个特征值排列在对角线上的对角阵。

还有一种Random walk normalized Laplacian，简记为 $L^{rw}$

拉普拉斯矩阵的归一化推导。
Laplacian Eigenmaps and Spectral Techniques for Embedding and Clustering, Mikhail Belkin

谱方法

开山鼻祖应该是这篇图谱论Spectral graph theory,CHUNG,1997, 原书pdf228页。
http://www.ams.org/books/cbms/092/

容易证明，傅里叶变换是一种线性变换。
我们可以将 $U^T$ 视为傅里叶变换（时域到谱域的线性映射）的矩阵表达。

Q:为什么可以用拉普拉斯矩阵的特征向量作为傅里叶变换的基？
@处决思想者: “N维空间中的任意一组正交基都可以作为vertex domain到spectral domain的基，而Graph Fourier Transformer选择Laplacian特征向量作为基，原因是Graph Laplacian的特征向量可以视为图最好的一组n维embedding，因为满足Dirichlet Energy最小，所以这组基可以carry the smooth geometry of graph.”
[1]Bruna J, Zaremba W, Szlam A, et al. Spectral networks and locally connected networks on graphs[J]. arXiv preprint arXiv:1312.6203, 2013.
来源: https://www.zhihu.com/question/355874991/answer/1204283923

$\hat{x}=U^{T}x$ ，x为原信号。
同理， $U$ 便是傅里叶逆变换的矩阵表达。
$x=U\hat{x}$
引入卷积定理：信号卷积的傅立叶变换等价于信号傅立叶变换的乘积。

即，先把两个信号变换到谱域上，做乘法，再把乘积结果变换回时域。

于是可以写出定义式，
给定图上的两个信号 $x,y\in R^{n}$ ，则卷积运算
$x\star y \\ = F^{-1}(F(x)\cdot F(y)) \\ =U((U^{T}x)\odot(U^{T}y))$

注意 $\star$ 这个卷积符号完全是自定义的一个符号，不同论文里可能采用不同的符号标识，这并不重要。
F为傅里叶变换，F^{-1}为逆变换。

为了简便起见，我们对上述定义式再做变形。
由于hardamard dot满足交换律，
$x\star y =U((U^{T}y)\odot(U^{T}x))$
其中 $U^Ty,U^Tx \in R^{n}$ ，是变换后的谱域上的向量。

两个向量的哈马达积显然可以改写为一个对角阵与一个向量的矩阵乘积。

于是我们可以用一个对角阵 $g_{\theta} \in R^{n\times n}$ 代替 $U^Ty$ ，从而将hardamard dot改写为更常用的matmul dot。
$x\star y=Ug_{\theta}U^{T}x$

形状 $U,U^T,g_{\theta} \in R^{n\times n} , x,y\in R^n$
最终结果为 $x\star y \in R^n$

又由于y这个符号已经被替换了，为了更符合人的直觉，我们可以这样写。

$g_{\theta}\star x=Ug_{\theta}U^{T}x$
上述定义式中，我们将 $g_{\theta}$ 称为卷积核。
这条终极定义式的直觉含义就是，用卷积核 $g_{\theta}$ 对图信号x进行卷积。

因此可以采取更口语化的表达
$g_{\theta}\star x=U \space g_{\theta} \space U^{T} \space x$
卷积结果= 逆变换 x 卷积核 x 谱变换 x 原信号。

这种利用谱域来定义卷积的方法通称为谱方法。
利用谱方法定义的卷积神经网络称为谱卷积神经网络，spectral CNN。

在 spectral CNN中，第m层的结构可以公式化表达如下:
$X_{j}^{m+1}=h(U\sum_{i=1}^{p}F_{i,j}^{m}U^{T}X_{i}^{m}),j=1,2,...,q$

其中p,q分别为输入与输出的维度（可理解为channel）。类似图像CNN里，输出若为q则有q次扫描产生q个featuremap。上式会重复q次。
h为激活函数
$X_{i}^{m} \in R^D$ ，表示第m层，第i个channel上长度为D的向量。
$F_{i,j}^m$ 为第j轮时对第i个长度为D的向量进行卷积的卷积核。

上述谱方法存在一个显而易见的缺陷，即不满足局部性。

一般我们认为更接近的结点之间的影响应该更大，而疏远的结点之间的影响应该被淡化。就像我们在2D图像上进行CNN扫描时，只进行局部感知。
而spectral CNN的传递公式中，很明显我们求 $X_{j}^{m+1}$ 的过程中，并没有区分第m层的那些 $X_{i}^{m}$ 的贡献度不同。
因为不关注第m层中结点i的空间信息（结点i与谁近与谁远），所以不存在什么局部扫描窗口。
这样子定义的图上卷积，有那么点全连接的意思。

另一个缺陷是求拉普拉斯矩阵的开销巨大，对于现实问题，成千上万维度，其计算代价不够经济，从而不可接受。
“在灵活性方面，基于谱的模型仅限于在无向图上工作，有向图上的拉普拉斯矩阵没有明确的定义。” (来源https://zhuanlan.zhihu.com/p/75307407)
因此如今谱方法已被扫入历史的旧衣柜，仅作为初学者的勇导台奉献余辉。

谱方法补充

写到这里，我们可以回顾谱方法的定义式。
定义式中，我们把傅里叶变换作为 $U^T$ 的实际含义。
但显然，得到 $Ug_{\theta}U^{T}x$ 这个式子后，U^T可以表示任何一个可逆线性变换，不是吗？

下面就是积木游戏了。
积木换一下，就是一个新网络，发一篇新文章。
例如，令 $U^T$ 表示小波变换，就得到了小波神经网络（GWNN）Xu Bingbing, .etc, ICLR2019。
所有用傅里叶做的工作，换成小波再做一次，又可以发一篇。

切比雪夫多项式的计算优化

我们已知 $g_{\theta}$ 是对角阵。
先用切比雪夫网络(Chebyshev net)将 $g_{\theta}$ 改写为参数形式的切比雪夫多项式。
$g_{\theta} \approx \sum_{k=0}^{K-1}\theta_{k}T_{k}(\hat{\Lambda})$

其中K为超参，表示跳数限制，也可以控制要学习的参数数量。
$\theta_{k}是标量，表示要学习的参数。$
$\hat{\Lambda}=\frac{2}{\lambda_{max}}\Lambda-I_{n}$
$T_k(x)$ 是一个由递归定义的函数。
$T_k(x)=2xT_{k-1}(x)-T_{k-2}(x)$ , $T_0(x)=1$ , $T_1(x)=x$
显然 $T_k(\hat{\Lambda}) \in R^{n \times n}$
上述约等于号成立的正确性参见David K. Hammond, Wavelets on graphs via spectral ´
graph theory. Applied and Computational Harmonic Analysis, 30(2):129–150, 2011.

写成如上形式是为了简化计算。

下面给出命题:

proposition:
$UT_{k}(\hat{\Lambda})U^T=T_{k}(U\hat{\Lambda}U^T)$

证明如下：

由于 $T_k(x)$ 是递归定义的，采用数学归纳法证明显然最为方便。
为了配合矩阵运算，我们做一点符合矩阵形式的修改
$T_0(x)=I$
那么显然有
$UT_0(\hat{\Lambda})U^T=UIU^T=I=T_0(U\hat{\Lambda}U^T)$
$UT_1(\hat{\Lambda})U^T=U\hat{\Lambda}U^T=T_1(U\hat{\Lambda}U^T)$
我们假设
$UT_{k-1}(\hat{\Lambda})U^T=T_{k-1}(U\hat{\Lambda}U^T)$
$UT_{k-2}(\hat{\Lambda})U^T=T_{k-2}(U\hat{\Lambda}U^T)$
则
$UT_{k}(\hat{\Lambda})U^T= U[2\hat{\Lambda}T_{k-1}(\hat{\Lambda})-T_{k-2}(\hat{\Lambda})]U^T\\ =2U\hat{\Lambda}T_{k-1}(\hat{\Lambda})U^{T} - UT_{k-2}(\hat{\Lambda})U^T \\ =2U\hat{\Lambda}U^T \cdot U \space T_{k-1}(\hat{\Lambda})U^{T} - T_{k-2}(U\hat{\Lambda}U^T) \\ =2U\hat{\Lambda}U^T \cdot T_{k-1}(U\hat{\Lambda}U^{T}) - T_{k-2}(U\hat{\Lambda}U^T) \\ =T_{k}(U\hat{\Lambda}U^T)$
由归纳法知命题正确。证毕。

基于上述proposition，可以对卷积运算化简。
$g_{\theta}\star x=Ug_{\theta}U^{T}x \approx U[\sum_{i=0}^{K-1}\theta_{k}T_{k}(\hat{\Lambda})]U^{T}x \\ = \sum_{i=0}^{K-1}[\theta_{k}UT_{k}(\hat{\Lambda})U^{T}]x \\ =\sum_{i=0}^{K-1}[\theta_{k}T_{k}(U\hat{\Lambda}U^{T})]x \\ =\sum_{i=0}^{K-1}[\theta_{k}T_{k}(\hat{L})]x$

其中 $U\hat{\Lambda}U^{T}=U(\frac{2}{\lambda_{max}}\Lambda-I_{n})U^T \\ =\frac{2}{\lambda_{max}}U\Lambda U^T-UI_{n}U^{T} \\ =\frac{2}{\lambda_{max}}L-I_{n}$
L是拉普拉斯矩阵。
简记为
$\hat{L}=\frac{2}{\lambda_{max}}L-I_{n}=U\hat{\Lambda}U^{T}$

显然
$g_{\theta}\star x =Ug_{\theta}U^{T}x \approx\sum_{i=0}^{K-1}[\theta_{k}T_{k}(\hat{L})]x$

此式将计算复杂度从
$Ug_{\theta}U^{T}$ ,3个 $R^{n \times n}$ 矩阵相乘
降解到
内层求 $T_k(\hat{L})$ 只需要2个 $R^{n \times n}$ 相乘，外层计算k次加法即可。

而最为神奇的是！
化简后的式子可以直接利用L进行计算，而不必求U。
省去了 $L=U\Lambda U^T$ 做特征值分解求U的巨大开销。

空间方法

定义写的花里胡哨。
简单的说，空间方法更注重邻接关系。
如果给每个结点一个embd后的向量表达，对结点y而言，将y与y的所有邻接结点对应的向量，以某种权重规则线性加总，再进行后续操作（如激活），这样的方法就是典型的空间方法。
实际操作的时候，不只会考虑y与y的所有邻接结点 ${x_i\}$ ，还会将y的所有邻接边对应的向量 $e_{xy}$ 也纳入计算之中。