【论文阅读】Digraph Inception Convolutional Networks-CSDN博客

本文链接：https://blog.csdn.net/qq_43955154/article/details/123401875

摘要

在处理有向图时：

直接将有向图转化为无向图来获得拉普拉斯，不仅导致信息传递和聚集出现误差，也剥夺了有向图的结构特征；
GCN无法获得更多的特征。
针对这些问题，本文提出了DiGCN，将谱卷积进行扩展，并采用k阶近邻获得更大的感受野，学习有向图中的mutil-scale特征。

介绍

以往提出的有向图学习方法

首先，利用图的拉普拉斯分布和PageRank的平稳分布的内在联系，将基于谱的图卷积扩展到有向图

有向图不一定满足马尔可夫的平稳分布，基于PageRank传送回每个节点，这种方式导出的拉普拉斯过于稠密，因此引入额外的辅助结点作为每个结点连接的远程端口
受到Inception网络的启发，设计可伸缩感受野，可以在一个卷积层中学习到不同大小的特征，避免了由于有向图中的不对称路径而产生不平衡的感受野

有向图卷积

给出基于PageRank的有向图拉普拉斯的定义，并对其进行简化，最后给出有向图卷积的定义。

基于PageRank的有向图Laplacian

对于一个有向图 $G = (V, E)$ ，邻接矩阵为 $A$ ，每个结点对应维度为c的特征矩阵 $X$ ，度矩阵（出度） $D$ 。
根据随机游走，定义有向图的转移矩阵为 $P_{rw}=D^{-1}A$ ，理解为 $\frac{A}{D}$ 。
由于 $P_{rw}$ 不满足不可约性和非周期性（马尔科夫链达到平稳分布的条件），因此需要对该矩阵进行改进。

PageRank

首先需要搞清楚PageRank算法，这里参考PageRank：马尔科夫链

PageRank是Google专有的算法，用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度（百度百科）。PageRank赋予每个网页一个值，值越大，则网页越重要。例如对于下图，结点为网页，边表示链接关系。
在这里插入图片描述
每个点以相等的概率到其它结点，为 $1 / d$ ， $d$ 为出度。例如对于结点1，链接到结点2和3的概率分别为 $1 / 2$ 。因此对于整个图为 $A / D$ 。

PageRank算法首先给定每个结点相等的初始概率，再经过迭代，得到最终的稳定值。由于有向图中可能存在只有出度以及只有入度的结点，导致PageRank迭代后得到概率为0的结果：pagerank算法详解

对于只有出度的结点，可以为每个结点添加自循环。即都有一定的概率可以留在当前页面。
对于只有入度的结点，这种结点也称为悬挂结点。当图中存在这样的结点或者存在大量入度的结点时，将容易导致困在该结点走不出去的情况。因此可以假定每个结点都有一定的概率随机跳转到图中的任意其它结点。即为结点添加到其它所有结点的边。

例如对于上图的结点4，添加指向其他结点的边。（图中省略了指向自己的边）
在这里插入图片描述
将整个事件分为两种情况：

$B_1$ :每个点有 $\alpha$ 的概率跳转到指向结点
$B_2$ :有 $1-\alpha$ 的概率跳转到随机结点

因此得到： $P=\alpha D^{-1}A+(1-\alpha)\frac{1}{N}$

至此，关于满足马尔科夫链的平稳分布三个性质已满足：

随机性。
不可约性。不可约矩阵：方阵A是不可约的当且仅当与A对应的有向图是强联通的
非周期性。A为primitive matrix。

Laplacian

根据上述可以进一步得到转移矩阵为：
$P_{pr}=(1-\alpha)P_{rw}+\frac{\alpha}{n}1^{n\times n}$
本文中把 $\alpha$ 称为传送概率。 $P_{pr}$ 拥有唯一的左特征向量（Perron向量） $\pi_{pr}$
平稳分布
$\pi_{pr}(i)=\sum_{i,i\to j}\pi_{pr}(i)P_{pr}(i,j)$
意义为到达顶点 $i$ 的概率，为指向 $i$ 的所有 $j$ 的传入概率之和。由此可知， $\pi_{pr}$ 性质和无向图里的 $\tilde{D}_u$ 相似，都反映了图的连通性。
得到有向图的拉普拉斯为：
$L_{pr}=I-\frac{1}{2}(\Pi_{pr}^{\frac{1}{2}} P_{pr} \Pi_{pr}^{-\frac{1}{2}}+ \Pi_{pr}^{-\frac{1}{2}} P_{pr}^T \Pi_{pr}^{\frac{1}{2}})$
其中 $\Pi_{pr}=\frac{1}{||\pi_{pr}||_1} Diag(\pi_{pr})$

由于这种方式得到的拉普拉斯过于稠密，在进行卷积时计算复杂度较高，因此本文对其进行改进。

Approximate Laplacian

在有向图中添加一个辅助结点，并与图中所有结点建立双向连接，用来代替添加的边
原来的转移矩阵转换为：
$P_{ppr}= \begin{bmatrix} (1-\alpha)\tilde{P} & \alpha 1^{n\times 1}\\ \frac{1}{n}1^{1\times n} & 0 \end{bmatrix} , P_{ppr}\in R^{(n+1)\times (n+1)}$
其中 $\tilde{P}=\tilde{D}^{-1}\tilde{A}, \tilde{A}=A+I , \tilde{D}$ 则为由 $\tilde{A}$ 生成的度矩阵。

如下图中，添加辅助结点5，因此转移矩阵最后一列则表示结点选择事件 $B_2$ ，转移矩阵最后一行表示随机跳转到其它结点概率。
在这里插入图片描述
$P_{ppr}$ 同样满足马尔科夫链的三个性质，其有唯一的左特征向量 $\pi_{ppr}$ ，特征值为1 。

$\pi_{ppr}=(\pi_{appr},\pi_{\xi}$ ，其中 $\pi_{appr}\in R^n$ 为前n个点的平稳分布，而 $\pi_\xi$ 为添加的辅助结点的平稳分布。

定理1.当传送概率 $\alpha\to 0$ 时， $\pi_{appr}\tilde{P}-\pi_{appr} \to 0$
因此可以将 $\alpha$ 调小，从而得到：
$L_{appr}\approx I-\frac{1}{2}(\Pi_{appr}^{\frac{1}{2}} \tilde P \Pi_{appr}^{-\frac{1}{2}}+ \Pi_{appr}^{-\frac{1}{2}} \tilde P^T \Pi_{appr}^{\frac{1}{2}})$
其中 $\Pi_{appr}=\frac{1}{||\pi_{appr}||_1}Diag(\pi_{appr})$

定理2.当传送概率 $\alpha \to 1$ 时， $\Pi _{appr}\to \frac{1}{n}I^{n\times n}$ ，此时拉普拉斯矩阵 $L_{appr}\to I-\frac{1}{2}(\tilde P+\tilde P^T)$ 。并且当图为无向图时，此时 $L_{appr}\to I-\tilde D^{-1}\tilde A$ ，此时正好为无向图的归一化拉普拉斯。

定理2表明，常用的无向图拉普拉斯为本文方法在某些条件下的特例，可以说 $\alpha$ 可以作为控制从有向到无向的转换程度。因此， $\alpha$ 越小，保留的属性越有方向性。

Convolution

根据上述推理，定义了对称的有向图拉普拉斯，并且根据无向图的卷积可以得到有向图卷积为：
$Z=\frac{1}{2}(\Pi_{appr}^{\frac{1}{2}} \tilde P \Pi_{appr}^{-\frac{1}{2}}+ \Pi_{appr}^{-\frac{1}{2}} \tilde P^T \Pi_{appr}^{\frac{1}{2}})X\Theta$

有向图Inception网络

根据相关研究可知，结点的信息是以类似随机游走的方式传播到其它结点的，这表明路径是特征传输的方式，感受野的大小由图中路径的长度决定。

可伸缩感受野

在有向图中，许多路径不是双向的，容易导致有向图中的感受野不平衡。
本文定义了一个有向图的k阶邻近度，能够从k阶相邻结点中提取隐藏信息。如果两个结点共享共同的邻居，那么认为他两是相似的。

对于图 $G = (V, E)$ ，若存在 $v_i{\to ...\to }v_e\gets ...\gets v_j$ ，称这条路径为 $k_{th}-order\ metting\ path\ M_{i,j}^{(k)}$
同理有 $v_i\gets ...\gets v_e\to ...\to v_j$ 称为 $k_{th}-order\ diffusion\ path\ D_{i,j}^{(k)}$
认为 $i$ 与 $j$ 为 $k$ 阶近邻， $e$ 为第 $k$ 阶共同邻居
在这里插入图片描述
这里好像有一个问题：对于上图中的2阶邻居和k阶邻居的定义好像存在冲突，图中的2 edges与k-1 edges冲突。暂时先不管，就当做k-1edges处理