MOFINET

最新推荐文章于 2023-09-23 22:28:08 发布

NLP&KGer

最新推荐文章于 2023-09-23 22:28:08 发布

阅读量872

点赞数

本文链接：https://blog.csdn.net/Hello_word5/article/details/102967583

版权

《MOTIFNET: A MOTIF-BASED GRAPH CONVOLUTIONAL NETWORK FOR DIRECTED GRAPHS》之阅读笔记

图上的卷积网络最近很火。很多相关技术类比图拉普拉斯矩阵的特征向量和传统傅里叶基之间的相似性，将卷积类比为谱域的乘法。这样得到的谱卷积的一大缺点是对无向图的假设，为了使得拉普拉斯矩阵可以正交分解。本文的工作是提出MotifNet, 通过利用局部图motif使得能直接处理有向图。

图结构上的深度学习最近受到越来越大的关注。将传统的深度神经网络一般化到图上的关键挑战是图不具有平移不变性。这就需要我们从新从头开始认识CNN的基本理论，包括卷积核和池化。

广泛地说，有两种方式可以构建图卷积：空间方法，主要是通过构建图上的权值的局部系统来类比像素；谱方法，类比图拉普拉斯的特征向量和传统傅里叶变换的，在谱域上定义一个类似于卷积核的操作。目前为止，这些谱方法都局限于无向图，因为定义卷积核时需要对称的拉普拉斯矩阵以得到正交的特征向量。然而，现实中有很多图数据(比如引用网络)是有向图，之前的谱方法就不能直接使用。

本文提出MotifNet, 专门针对有向图的图卷积网络。基于局部子图结构构建非均质的图卷积核。使用了注意力机制，使得MonifNet在不增加模型复杂度的情况下能直接泛化一些标准的卷积网络。

背景

给定一个有向图 $G=\{V,E,W\}$ , 其中， $V=\{1,2,...,n\}$ 是结点集， $E\subseteq V\times V$ 是边集，并且， $(i,j)\in E$ 当且仅当 $(j,i)\in E$ ,图结构用对称的邻接矩阵 $W=(w_{ij})$ 表示。标准化的图拉普拉斯矩阵表示为 $\Delta =I-D^{-\frac{1}{2}}WD^{-\frac{1}{2}}$ , 其中，D是对角的度矩阵。由于拉普拉斯矩阵是对称矩阵，所以可以进行正交分解 $\Delta=\Phi \Lambda \Phi ^{\top }$ ,其中正交的特征向量 $\Phi =(\o _{1}^{\top },...,\o _{n}^{\top })$ , 非负的特征值 $0\leq \lambda _{1}\leq \lambda _{2}\leq ...\leq \lambda _{n}$ 按顺序排成正对角矩阵 $\Lambda=diag(\lambda _{1},\lambda _{2},...,\lambda _{n})$

定义在图的节点上的所有方程 $f:V\rightarrow \mathbb{R}$ 可以表示为向量 $\textbf{f}\in \mathbb{R}^{n}$ , 而且这些向量构成一个Hilbert空间。拉普拉斯矩阵的特征向量构成这个函数空间的一组基，所以有 $\textbf{f}=\Phi \Phi ^{\top }\textbf{f}$ , 其中 $\hat{\textbf{f}}= \Phi ^{\top }\textbf{f}$ 是 $\textbf{f}$ 的图傅里叶变换。拉普拉斯的特征向量正好做为标准的傅里叶算子，对应的特征值做为频率。最后，谱域上的卷积操作可定义为 $\textbf{f}\ast \textbf{g}=\Phi( (\Phi ^{\top }\textbf{f})\cdot (\Phi ^{\top }\textbf{g}))$ (这是根据卷积定理：时域上卷积的傅里叶变换等于谱域上的傅里叶变换的乘积)。

基于以上的基本理论。就有一些人去定义谱域上的卷积核：Bruna等人直接利用上面的定义去定义卷积核，其中基本的网络层为：

$\tilde{\textbf{f}_{l}}=\xi (\sum_{l^{'}}^{q^{'}}\Phi \hat{G_{ll^{'}}}\Phi ^{\top }\textbf{f}_{l^'}), l=1,2,...,q$

其中， $q^{'},q$ 分别是输入和输出通道。 $\hat{G_{ll^'}}=diag(\hat{g}_{ll^{'},1},\hat{g}_{ll^{'},n})$ 是谱乘法的对角矩阵，代表着卷积核， $\xi$ 是非线性激活函数。这样的卷积定义比传统的欧式空间中的CNN计算复杂度高的多，因为要计算傅里叶变换和傅里叶逆变换，这都是 $n\times n$ 的矩阵的乘法，并且这样不能保证提取的是空间中的局部特征。

为了解决这一问题，Henaff等人提出用傅里叶变换的平滑滤波做为卷积核。其定义的卷积核为

$\hat{g}_{k}=\tau _\theta (\lambda _k)=\sum_{j=1}^{p}\theta _{j}\beta _{j}(\lambda _{k})$ ,

其中， $\theta=(\theta _{1},\theta _{2},...,\theta _{p})$ 是可学习的卷积核参数， $\beta _{1}(\lambda ),...,\beta _{p}(\lambda )$ 是样条基函数(不太理解)

Defferrard等人考虑用切比雪夫基表示的多项式来表示卷积核（ChebNet）：

$\hat{f}=\Phi \sum_{j=0}^{p}\theta _{j}T _{j}(\hat{\Lambda })\Phi ^{\top }\textbf{f}=\sum_{j=0}^{p}\theta _{j}T _{j}(\hat{\Delta })\textbf{f}$ .

这样就根本不用去管特征分解的事了。计算复杂度从 O(n^2) 降到 $O(|\varepsilon |)$ ，如果图是稀疏的，降为 O(n) 。这里 $\lambda$ 是被调节到[-1,1]后的值，调节方法为 $\hat{\Lambda }=2\lambda _{n}^{-1}\Lambda -I$ ,调节后的拉普拉斯矩阵为 $\hat{\Delta }=2\lambda _{n}^{-1}\Delta -I$ 。而切比雪夫多项式的定义为： $T_{j}(\lambda )=2\lambda T_{j-1}(\lambda )-T_{j-2}(\lambda )$ ,且 $T_{1}(\lambda )=\lambda ,T_{0}(\lambda )=1$ (这样卷积核则定义成了一元矩阵多项式).

Kipf等人对ChebNet进行简化，提出GCN。将其约束到一阶切比雪夫多项式，并且对拉普拉斯进一步归一化。最后得到了非常简单的卷积核。

Levie等人基于凯莱变换用有理滤波方程定义卷积核。

上面的方法虽然都很有效，但不能直接运用于有向图。

Benson等人通过分析小的子图提出一个好的解决方案。令 $G=\{V,E,W\}$ 是一个加权有向图（ $W^{\top }\neq W$ ）, $M_{1},...M_{K}$ 是一些图模体(即对研究问题有意义的图的连接模式)。对于每条边 $(i,j)\in E$ 和每个模体 $M_{k}$ ,令 $u_{k,ij}$ 是边 (i,j) 出现在模体 $M_{k}$ 中的次数，作者定义了新的边权： $\tilde{w}_{k,ij}=u_{k,ij}w_{ij}$ , 此时加权邻接矩阵变成对称模体邻接矩阵 $\tilde{W_{k}}$ .模体拉普拉斯 $\tilde{\Delta }_{k}=I-\tilde{D }_{k}^{-\frac{1}{2}}\tilde{W }_{k}\tilde{D }_{k}^{-\frac{1}{2}}$ 就会表现的往模体的方向倾斜。(这个还需要好好研究其原文)

利用模体邻接矩阵可以定义图上的深度学习。利用模体拉普拉斯矩阵的p阶多元多项式来定义卷积核。一般的多元矩阵多项式的形式如下：

$P_{\Theta }(\tilde{\Delta }_{1},...,\Delta _{K})=\sum_{j=0}^{p}\sum_{k_{1},...,k_{j}\in {1,...,K}}\theta _{k_{1},...,k_{j}}\tilde{\Delta }_{k_{1},...,k_{j}}$

但是其中的参数太多，对于只含有几个模体的图都不太合适，所以要简化。

这里提供了两种简化方式：1,只考虑K=2，即每个节点的出度和入度模体。这样，矩阵多项式变成

$P_{\Theta }=\theta _{0}I+\theta _{1}\tilde{\Delta }_{1}+\theta _{2}\tilde{\Delta }_{2}+\theta _{11}\tilde{\Delta }_{1}^{2}+...+\theta _{22}\tilde{\Delta }_{2}^{2}$

2.考虑循环方式定义的简化版的多元多项式：

$P_{\Theta }(\tilde{\Delta }_{1},...,\Delta _{K})=\sum_{j=0}^{p}\theta_{j}P_{j}$ ,其中

$P_{j}(\tilde{\Delta }_{1},...,\Delta _{K})=\sum_{k=0}^{K}\alpha _{k,j}\tilde{\Delta }_{k}P_{j-1},j=1,...,p,P_{0}=I$

MotifNet是如下定义卷积网络的：

$\tilde{f}_{l}=\xi (\sum_{l^{'}=1}^{q^{'}}P_{\Theta _{ll^{'}}}(\tilde{\Delta }_{1},...,\tilde{\Delta }_{K})f_{l^{'}})$

ChebNet是MotifNet的特例，只是用了一元矩阵多项式。

NLP&KGer

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
MOFINET

《MOTIFNET: A MOTIF-BASED GRAPH CONVOLUTIONAL NETWORK FOR DIRECTED GRAPHS》之阅读笔记图上的卷积网络最近很火。很多相关技术类比图拉普拉斯矩阵的特征向量和传统傅里叶基之间的相似性，将卷积类比为谱域的乘法。这样得到的谱卷积的一大缺点是对无向图的假设，为了使得拉普拉斯矩阵可以正交分解。本文的工作是提出MotifNet, 通过...
复制链接

扫一扫