【GCN】以距离分区的角度考虑空域和频域的图卷积操作

🚀本文简要梳理一下图卷积网络(Graph Convolutional Network)的计算问题。共分为以下4个部分，前两部分讲空域，后两部分讲频域：

• 🌔01 度矩阵 & 邻接矩阵
• 🌔02 基于空域的图卷积
• 🌔03 图拉普拉斯矩阵 & Chebyshev多项式
• 🌔04 基于频域的图卷积

无论是空域还是频域，图卷积一般都针对边权值为1的无向图。

⭐️假设现有以下的例子：

图例中共4个节点，假设每个节点的特征向量为2维，则为了计算方便，随便假设图的初始特征为：
$$\mathbf{x}={\left[\begin{array}{cc}1& 0\\ 0& 1\\ 1& 1\\ 0& 0\end{array}\right]}_{4\times 2}$$
接下来会结合此图的拓扑关系和初始特征进行讲解，请务必结合此例进行理解。

---

🌔01
度矩阵 & 邻接矩阵

本部分为空域图卷积奠定基础。

2.1 度矩阵

⭐️度矩阵是一个对角阵，对角线元素表示节点的度，即每一个节点与多少个其他节点直接相连，因而可以将例图的度矩阵书写如下：
$$D=\left[\begin{array}{cccc}3& 0& 0& 0\\ 0& 2& 0& 0\\ 0& 0& 2& 0\\ 0& 0& 0& 3\end{array}\right]$$
若考虑自联通，则有：
$$\tilde{D}=D+I=\left[\begin{array}{cccc}4& 0& 0& 0\\ 0& 3& 0& 0\\ 0& 0& 3& 0\\ 0& 0& 0& 4\end{array}\right]$$

2.2 邻接矩阵

⭐️对于例图，如果节点间是直接联通的那么就给邻接矩阵对应元素的值赋1，否则为0，自身不与自身联通，因而可以将邻接矩阵书写如下：
$$A=\left[\begin{array}{cccc}0& 1& 1& 1\\ 1& 0& 0& 1\\ 1& 0& 0& 1\\ 1& 1& 1& 0\end{array}\right]$$
若考虑自联通，则有：
$$\tilde{A}=A+I=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& 0& 1\\ 1& 0& 1& 1\\ 1& 1& 1& 1\end{array}\right]$$
考虑到数值稳定性，有时需要对邻接矩阵进行归一化处理，这里采用对称归一化：
$$\hat{A}=D^{-1/2}A{D}^{-1/2}=\left[\begin{array}{cccc}0& \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}& 0& 0& \frac{1}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}& 0& 0& \frac{1}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{6}}& 0\end{array}\right]$$
或者，考虑到自联通：
$${\hat{A}}^{\prime }={\tilde{D}}^{-1/2}\tilde{A}{\tilde{D}}^{-1/2}=\left[\begin{array}{cccc}\frac{1}{4}& \frac{1}{4\sqrt{3}}& \frac{1}{4\sqrt{3}}& \frac{1}{4}\\ \frac{1}{4\sqrt{3}}& \frac{1}{3}& 0& \frac{1}{3\sqrt{3}}\\ \frac{1}{4\sqrt{3}}& 0& \frac{1}{3}& \frac{1}{3\sqrt{3}}\\ \frac{1}{4}& \frac{1}{3\sqrt{3}}& \frac{1}{3\sqrt{3}}& \frac{1}{4}\end{array}\right]$$
另外，在深度学习中，还可以为邻接矩阵赋予一个可学习的权重矩阵$M$，将之与邻接矩阵逐元素相乘作为新的邻接矩阵(度矩阵也相应变化)：
$$A=A\odot M$$
如无特殊说明，在接下来的案例中$M=I$。

---

🌔02
基于空域的图卷积

⭐️由于图卷积中特征的传播常常要把自身节点的特征考虑在内，因而使用的是带自联通的版本。

参考第一部分，可以计算得到自联通的归一化邻接矩阵：
$${\hat{A}}^{\prime }=\left[\begin{array}{cccc}\frac{1}{4}& \frac{1}{4\sqrt{3}}& \frac{1}{4\sqrt{3}}& \frac{1}{4}\\ \frac{1}{4\sqrt{3}}& \frac{1}{3}& 0& \frac{1}{3\sqrt{3}}\\ \frac{1}{4\sqrt{3}}& 0& \frac{1}{3}& \frac{1}{3\sqrt{3}}\\ \frac{1}{4}& \frac{1}{3\sqrt{3}}& \frac{1}{3\sqrt{3}}& \frac{1}{4}\end{array}\right]$$

使用下式对特征进行传播更新(不考虑非线性激活函数)：
$$\mathbf{y}={\hat{A}}^{\prime }\mathbf{x}W$$
其中$\mathbf{y},\mathbf{x}$分别为输出和输入的图特征，${\hat{A}}^{\prime }$为归一化邻接矩阵,用于根据图的拓扑关系来传播特征，$W$为该层卷积中可学习的权重参数，用于调整特征的值，这里假设参数为：
$$W={\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]}_{2\times 2}$$
则特征传播过程具体可写为(仔细观察矩阵相乘的过程，就可以理解特征传播过程了)：
$$\begin{gathered} \mathbf{y}={\hat{A}}^{\prime }\mathbf{x}W \\ =\left[\begin{array}{cccc}\frac{1}{4}& \frac{1}{4\sqrt{3}}& \frac{1}{4\sqrt{3}}& \frac{1}{4}\\ \frac{1}{4\sqrt{3}}& \frac{1}{3}& 0& \frac{1}{3\sqrt{3}}\\ \frac{1}{4\sqrt{3}}& 0& \frac{1}{3}& \frac{1}{3\sqrt{3}}\\ \frac{1}{4}& \frac{1}{3\sqrt{3}}& \frac{1}{3\sqrt{3}}& \frac{1}{4}\end{array}\right]\left[\begin{array}{cc}1& 0\\ 0& 1\\ 1& 1\\ 0& 0\end{array}\right]\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]=\left[\begin{array}{cc}\frac{1}{4}(1)+\frac{1}{4\sqrt{3}}(0)+\frac{1}{4\sqrt{3}}(1)+\frac{1}{4}(0)& \cdots \\ \frac{1}{4\sqrt{3}}(1)+\frac{1}{3}(0)+0(1)+\frac{1}{3\sqrt{3}}(0)& \cdots \\ \frac{1}{4\sqrt{3}}(1)+0(0)+\frac{1}{3}(1)+\frac{1}{3\sqrt{3}}(0)& \cdots \\ \frac{1}{4}(1)+\frac{1}{3\sqrt{3}}(0)+\frac{1}{3\sqrt{3}}(1)+\frac{1}{4}(0)& \cdots \end{array}\right] \\ =\left[\begin{array}{cc}\frac{1}{4}+\frac{1}{4\sqrt{3}}& \frac{2}{4\sqrt{3}}\\ \frac{1}{4\sqrt{3}}& \frac{1}{3}\\ \frac{1}{4\sqrt{3}}+\frac{1}{3}& \frac{1}{3}\\ \frac{1}{4}+\frac{1}{3\sqrt{3}}& \frac{2}{3\sqrt{3}}\end{array}\right] \end{gathered}$$

🔥说明：这里采用的是${\hat{A}}^{\prime }$来传播特征，即对于每个节点，考虑其自身特征和相邻节点的特征进行传播。

如果按照距离分区考虑的话(这里距离指的是连接两节点的最小边数)，就是仅考虑了距离为0的节点和距离为1的节点，而其他更高距离的节点并没有纳入考虑，${\hat{A}}^{\prime }$仅仅是距离为0的邻接矩阵和距离为1的邻接矩阵之和。

如果要扩大图卷积的感受野，改变${\hat{A}}^{\prime }$的构成即可，即将更多距离的邻接矩阵加入进来。

---

🌔03
图拉普拉斯矩阵 & Chebyshev多项式

本部分为频域图卷积奠定基础。

3.1 图拉普拉斯矩阵

⭐️注意，图拉普拉斯矩阵仅考虑最为狭义的邻接矩阵，即距离为1的邻接矩阵。(下一部分会解释为什么)

图拉普拉斯矩阵定义如下:
$$L=D-A=\left[\begin{array}{cccc}3& -1& -1& -1\\ -1& 2& 0& -1\\ -1& 0& 2& -1\\ -1& -1& -1& 3\end{array}\right]$$
考虑到数值稳定性，有时需要对图拉普拉斯矩阵进行归一化处理，这里采用对称归一化：
$$\hat{L}=I-\hat{A}=\left[\begin{array}{cccc}\frac{3}{4}& -\frac{1}{4\sqrt{3}}& -\frac{1}{4\sqrt{3}}& -\frac{1}{4}\\ -\frac{1}{4\sqrt{3}}& \frac{2}{3}& 0& -\frac{1}{3\sqrt{3}}\\ -\frac{1}{4\sqrt{3}}& 0& \frac{2}{3}& -\frac{1}{3\sqrt{3}}\\ -\frac{1}{4}& -\frac{1}{3\sqrt{3}}& -\frac{1}{3\sqrt{3}}& \frac{3}{4}\end{array}\right]$$
可以发现，图拉普拉斯矩阵中元素正负交加，说明其具有一种“微分”的性质，可以用作图谱的频域描述，具体来说，对图拉普拉斯矩阵进行特征分解，即(无论是否归一化，同理)：
$$L=U\Lambda U^T$$
其中,
$①$$\Lambda$为特征值对角矩阵，由特征值${\lambda }_i$组成，${\lambda }_i$称为图的频率，对图频谱采用某种滤波手段，可用$g_{\theta }(\Lambda )$表示，且有：
$$g_{\theta }(L)=U{g}_{\theta }(\Lambda )U^T$$
且由于无向图的性质，$\Lambda$为半正定矩阵，其特征值均非负，即满足：$\lambda \in [0,{\lambda }_{max}]$

$②$$U$为特征向量矩阵，由特征向量$u_i$组成，$u_i$表示对应频率下的基函数。且可用$U^T$把空域特征投影到频域，也可用$U$把频域特征投影到空域(由于$L$为对称矩阵，$U$与$U^T$为正交阵)：
$$\begin{gathered} \mathbf{X}=U^T\mathbf{x} \\ \mathbf{x}=U\mathbf{X} \end{gathered}$$

3.2 Chebyshev多项式

⭐️这里先简要介绍Chebyshev多项式逼近函数的原理和过程，具体如何应用应用在下一部分讲解。

由于第一类Chebyshev多项式在傅里叶分析和多项式逼近中被广泛应用，这里的Chebyshev多项式特指第一类。

Chebyshev多项式通过递归定义：
$$\begin{gathered} T_0(x)=1,T_1(x)=x \\ {T}_k(x)=2x{T}_{k-1}(x)-T_{k-2}(x),k\ge 2 \end{gathered}$$
其用于定义正交性的权重函数为：
$$w(x)=\frac{1}{\sqrt{1-x^2}},x\in [-1,1]$$
则Chebyshev多项式对于$w(x)$在$[-1,1]$保持正交，即：
$${\int }_{-1}^1{T}_k(x)T_m(x)w(x)dx=0,k\ne m$$
此时，对于满足以下条件的函数$h(x)$，其可用Chebyshev多项式逼近：
$${\int }_{-1}^1|h(x){|}^{2}w(x)dx<\infty$$
而在不严格的情况下，只要满足$x\in [-1,1]$，而不需要满足上面的条件，就可以进行函数逼近，此时函数可以表示为：
$$h(x)\approx \sum _{k=0}^{K-1}{\theta }_k{T}_k(x)$$
其中，$K$是用以截断的阶数，可以控制逼近程度，用以平衡计算开销和逼近效果。${\theta }_k$为可学习的系数。

---

🌔04
基于频域的图卷积

⭐️基于频域的图卷积公式如下，这里$L$为经过对称归一化的图拉普拉斯矩阵(不写为$\hat{L}$是为了表述方便)：
$$\mathbf{y}=U{g}_{\theta }(\Lambda )U^T\mathbf{x}=g_{\theta }(L)\mathbf{x}$$
可以分以下三步骤进行理解：

• 首先，把特征从空域转换到频域：$U^T\mathbf{x}$
• 然后，利用滤波器对频域特征进行滤波：$g_{\theta }(\Lambda )U^T\mathbf{x}$
• 最后，再把特征转回空域：$U{g}_{\theta }(\Lambda )U^T\mathbf{x}$

由于在实际操作中直接求解滤波器$g_{\theta }(\cdot )$比较困难，于是使用Chebyshev多项式逼近的方式。

首先，通过尺度变换将特征值尺度从$[0,{\lambda }_{max}]$转化为$[-1,1]$以满足Chebyshev多项式逼近的范围要求：
$$\overline{L}=2L/{\lambda }_{max}-1$$
接着，使用下式进行多项式逼近(由于计算比较麻烦，这里就不展开了，但每个符号对应的数值都是可以通过前文得到的)：
$$\mathbf{y}=g_{\theta }(L)\mathbf{x}\approx \sum _{k=0}^{K-1}{\theta }_k{T}_k(\overline{L})\mathbf{x}$$
因此，对$g_{\theta }(\cdot )$的学习就转换成了对一系列${\theta }_k$的学习。

🔥说明：这里$K$定义为截断的阶数，同时参考距离分区，这个阶数其实就划定的频域图卷积的感受野，而相对应的可学习的系数${\theta }_k$就划定了各距离的节点在整个感受野中的比重。这也可以解释为什么图拉普拉斯算子只考虑距离为1的邻接矩阵，因为需要把它当作一个“基”。