详解图信号处理与图卷积神经网络

前言

本文参考 – 深入浅出图神经网络 GNN 原理解析一书

图信号处理

图信号处理（Graph Signal Processing ，GSP）是离散信号处理（Discrete Signal Processing，DSP）理论在图信号领域的应用。其通过傅里叶变换、滤波等信号处理基本概念的迁移，来研究对图信号的压缩、变换、重构等信号处理的基础任务。

图信号与图的拉普拉斯矩阵

图信号

给定图 $G(V,E)$，其中 $V$ 表示图中的节点集合，图信号是一种描述从节点域到实数域的映射，表示成向量的形式为：$\mathbf{x}=[x_1,x_2,\dots ,x_N{]}^T$，其中 $x_i$ 表示的是节点 $v_i$ 上的信号强度。与离散时间时间信号不同，图信号是定义在节点上的信号，节点之间有自己固有的关联结构，在研究图信号的性质的时候，除了要考虑图信号的强度之外，还要考虑图的拓扑结构，不同图上同一强度的信号，具有截然不同的性质

在大多数任务中，图信号指的就是图中节点的特征矩阵

图的拉普拉斯矩阵

拉普拉斯矩阵（Laplacian Matrix）是用来研究图的结构性质的核心对象，拉普拉斯矩阵的定义如下：$\mathbf{L}=\mathbf{D}-\mathbf{A}$，其中 ${\mathbf{D}}_{ii}={\sum }_j{\mathbf{A}}_{ij}$ 是由节点的度组成的对角矩阵。对应的 $\mathbf{A}$ 就代表图的邻接矩阵。在实际应用中常用的是对称归一化拉普拉斯矩阵，定义为：${\mathbf{L}}_{\mathbf{s}\mathbf{y}\mathbf{m}}={\mathbf{D}}^{-\frac{1}{2}}\mathbf{L}{\mathbf{D}}^{-\frac{1}{2}}$

拉普拉斯矩阵的定义来源于拉普拉斯算子，拉普拉斯算子是 $n$ 维欧氏空间中的一个二阶微分算子，如果将该算子的作用域退化到离散的二维图像空间，就成了一种边缘检测算子：

$$\begin{gathered} 010 \\ 1-41 \\ 010 \end{gathered}$$
拉普拉斯算子描述了中心像素与局部上、下、左、右四邻居像素的差异，这种性质通常被用来当作图像上的边缘检测算子。同理，在图信号中，拉普拉斯算子也被用来描述中心节点与邻居节点之间的信号差异

$$\mathbf{L}\mathbf{x}=(\mathbf{D}-\mathbf{A})\mathbf{x}=[\dots ,\sum _{v_j\in N(v_i)}(x_i-x_j),\dots ]\text{\hspace{1em}(1)}$$

由此可知，拉普拉斯矩阵是一个反应图信号局部平滑度的算子，进一步，拉普拉斯矩阵可以让我们定义一个非常重要的二次型：
$${\mathbf{x}}^{\mathbf{T}}\mathbf{L}\mathbf{x}=\sum _{v_i}\sum _{v_j\in N(v_i)}{x}_i(x_i-x_j)=\sum _{e_{ij}\in E}(x_i-x_j{)}^2\text{\hspace{1em}(2)}$$

其中 $\mathbf{T}\mathbf{V}(\mathbf{x})={\mathbf{x}}^{\mathbf{T}}\mathbf{L}\mathbf{x}={\sum }_{e_{ij}\in E}(x_i-x_j{)}^2$代表图信号的总变差 (Total Variation)。总变差是一个标量，将各条边上的信号差值进行加和，刻画了图信号整体的平滑程度。

图的傅里叶变换

傅里叶变换是数字信号处理的基石，傅里叶变换将信号从时域空间转换到频域空间。类比傅里叶变换，可以给出图信号傅里叶变换的定义，即将图信号由空域（sqtial domain）视角转化到频域（frequency domain）视角。

假设图 $G$ 的拉普拉斯矩阵为 $\mathbf{L}\in {\mathbb{R}}^{N\times N}$，由于 $\mathbf{L}$ 是一个实对称矩阵，因此可以被正交对角化得到如下形式：
$$\mathbf{L}=\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{\mathbf{T}}\text{\hspace{1em}(3)}$$
其中 $\mathbf{V}\in {\mathbb{R}}^{N\times N}$ 是一个正交矩阵，即 $\mathbf{V}{\mathbf{V}}^{\mathbf{T}}=\mathbf{I}$。其组成形式为 $\mathbf{V}=[v_1,v_2,\dots ,v_N]$ 表示 $\mathbf{L}$ 的 $N$ 个特征向量。并且根据正交矩阵的性质可知这些特征向量都是彼此之间线性无关的单位向量。$\mathbf{\Lambda }=diag({\lambda }_1,{\lambda }_2\dots ,{\lambda }_N)$代表特征向量对应的特征值。对这些特征值进行升序排列满足关系 ${\lambda }_1\le {\lambda }_2<\cdots \le {\lambda }_N$。

对于任意给定的向量 $\mathbf{x}$，拉普拉斯矩阵的二次型 ${\mathbf{x}}^{\mathbf{T}}\mathbf{L}\mathbf{x}={\sum }_{e_{ij}\in E}(x_i-x_j{)}^2\ge 0$，因此拉普拉斯矩阵是一个半正定矩阵，其所有特征值大于等于0。并且满足 $\mathbf{L}\mathbf{I}=0$，因此拉普拉斯矩阵具有最小特征值0，即 ${\lambda }_1=0$。另外可以证明对于${\mathbf{L}}_{sym}$,其特征值存在一个上限：${\lambda }_N\le 2$

基于此，可以定义图傅里叶变换（Graph Fourier Transform，GFT）：对于任意一个在图 $G$ 上的信号 $\mathbf{x}$，其图上的傅里叶变换为：
$${\tilde{\mathbf{x}}}_k=\sum _{i=1}^N{\mathbf{V}}_{ki}^T{\mathbf{x}}_i=<{\mathbf{v}}_k,\mathbf{x}>\text{\hspace{1em}(4)}$$

其中特征向量叫做傅里叶基，${\tilde{\mathbf{x}}}_k$ 是 $\mathbf{x}$ 在第 $k$ 个傅里叶基上的傅里叶系数。从定义式上可以看出，傅里叶系数本质上是图信号在傅里叶基上的投影。进而利用矩阵形式算出所有的傅里叶系数：
$$\tilde{\mathbf{x}}={\mathbf{V}}^{\mathbf{T}}\mathbf{x},\tilde{\mathbf{x}}\in {\mathbb{R}}^N\text{\hspace{1em}(5)}$$

由于 $\mathbf{V}$ 是一个正交矩阵，对上式左乘 $\mathbf{V}$，可以得到：
$$\mathbf{V}\tilde{\mathbf{x}}=\mathbf{V}{\mathbf{V}}^{\mathbf{T}}\mathbf{x}=\mathbf{I}\mathbf{x}=\mathbf{x}\text{\hspace{1em}(6)}$$
基于此可以将图傅里叶逆变换定义为：
$${\mathbf{x}}_k=\sum _{i=1}^N{\mathbf{V}}_{ki}\cdot {\tilde{\mathbf{x}}}_i\text{\hspace{1em}(7)}$$

从线性代数的角度来看，$[{\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_{\mathbf{N}}]$ 组成了 $N$ 维特征空间中的一组完备的基向量。图 $G$ 上的任意一个图信号都可以被表征成这些基向量的线性加权。具体来说，权重就是图信号在对应傅里叶基上的傅里叶系数，这种图信号的分解表示方法，给了一种全新的看待图信号的视角

总变差和图信号的能量

有了图傅里叶变换的定义之后，可以对总变差进行改写：
$$\mathbf{T}\mathbf{V}(\mathbf{x})={\mathbf{x}}^{\mathbf{T}}\mathbf{L}\mathbf{x}={\mathbf{x}}^{\mathbf{T}}\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{\mathbf{T}}\mathbf{x}$$
$$\mathbf{T}\mathbf{V}(\mathbf{x})=(\mathbf{V}\tilde{\mathbf{x}}{)}^T\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{\mathbf{T}}(\mathbf{V}\tilde{\mathbf{x}})$$
$$\mathbf{T}\mathbf{V}(\mathbf{x})={\tilde{\mathbf{x}}}^{\mathbf{T}}{\mathbf{V}}^{\mathbf{T}}\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{\mathbf{T}}\mathbf{V}\tilde{\mathbf{x}}\text{\hspace{1em}(8)}$$
$$\mathbf{T}\mathbf{V}(\mathbf{x})={\tilde{\mathbf{x}}}^{\mathbf{T}}\mathbf{\Lambda }\tilde{\mathbf{x}}$$
$$\mathbf{T}\mathbf{V}(\mathbf{x})=\sum _k^N{\lambda }_k{\tilde{\mathbf{x}}}_{\mathbf{k}}^2$$

从上式可以看出，图信号的总变差与图的特征值之间有着非常直接的线性对应关系，总变差是图的所有特征值的一个线性组合，权重是图信号相对应的傅里叶系数的平方。

由于图的各个特征向量是彼此正交的单位向量，且特征值 ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_N$ 是从小到大依次排列的，因此总变差取最小值的条件是图信号与最小特征值 ${\lambda }_1$ 所对应的特征向量 ${\mathbf{v}}_1$ 完全重合，此时仅有 ${\mathbf{x}}_1\ne 0$，其他项的傅里叶系数为0，总变差为 $\mathbf{T}\mathbf{V}({\mathbf{V}}_1)={\lambda }_1$

结合总变差代表着图信号整体平滑度的实际意义，我们可以发现，特征值依次排列在一起，对图信号的平滑度做出了一种梯度刻画，因此可以将特征值等价成频率。特征值越低，频率越低，对应的傅里叶基就变化的越慢，相近节点上的信号值趋于一致；特征值越高，频率越高，对应的傅里叶基就变化的越剧烈，相近节点上的信号值非常不一致。

基于此，我们可以定义图信号的能量：
$$\mathbf{E}(\mathbf{x})=||\mathbf{x}|{|}_2^2={\mathbf{x}}^{\mathbf{T}}\mathbf{x}=(\mathbf{V}\tilde{\mathbf{x}}{)}^{\mathbf{T}}(\mathbf{V}\tilde{\mathbf{x}})={\tilde{\mathbf{x}}}^{\mathbf{T}}\tilde{\mathbf{x}}\text{\hspace{1em}(9)}$$

上述的等量代换关系说明能量可以同时从空域和频域的角度进行等价定义。并且可知单位向量的图信号能量为1。

频谱角度的图信号

有了频率的定义，傅里叶系数就可以等价成图信号在对应频率分量上的幅值，反映了图信号在该频率分量上的强度。图信号在低频分量上的强度越大，该信号的平滑程度就越高；相反，图信号在高频分量上的强度越大，该信号平滑程度越低。

定义好了图傅里叶变换之后，就可以从频域视角去研究图信号。将图信号所有的傅里叶系数合在一起成为该信号的频谱（spectrum）。在一个给定的图中，图信号的频谱相当于一种身份 ID，给定了频谱，就可以利用图傅里叶逆变换，完整的推导出空域中的图信号。图信号频谱上的任意一个傅里叶系数都是对图信号的某种低频或高频特征的定量描述，这种描述既考虑了图信号本身值的大小，也考虑了图的结构信息

图滤波器

类比于离散信号处理，在图信号处理中，将图滤波器（Graph Filter）定义为对给定图信号的频谱中各个频率分量的强度进行增强或衰减的操作。假设图滤波器定义为 $\mathbf{H}\in {\mathbb{R}}^{N\times N},\mathbf{H}:{\mathbb{R}}^N\to {\mathbb{R}}^N$，令输出的图信号为 $\mathbf{y}$，则：
$$\mathbf{y}=\mathbf{H}\mathbf{x}={\mathbf{v}}_k\sum _{k=1}^N(\mathbf{h}({\lambda }_k){\tilde{\mathbf{x}}}_{\mathbf{k}})\text{\hspace{1em}(10)}$$

对上式进行化简处理可以得到如下形式：
$$\begin{gathered} \mathbf{y}=\mathbf{H}\mathbf{x}=\mathbf{V}\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}[\mathbf{h}({\lambda }_1),\dots ,\mathbf{h}({\lambda }_{\mathbf{N}})][{\tilde{\mathbf{x}}}_1,\dots ,{\tilde{\mathbf{x}}}_{\mathbf{N}}{]}^{\mathbf{T}} \\ \mathbf{y}=\mathbf{H}\mathbf{x}=\mathbf{V}\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}[\mathbf{h}({\lambda }_1),\dots ,\mathbf{h}({\lambda }_{\mathbf{N}})]{\mathbf{V}}^{\mathbf{T}}\mathbf{x} \\ \mathbf{H}=\mathbf{V}\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}[\mathbf{h}({\lambda }_1),\dots ,\mathbf{h}({\lambda }_{\mathbf{N}})]{\mathbf{V}}^{\mathbf{T}}=\mathbf{V}{\mathbf{\Lambda }}_{\mathbf{h}}{\mathbf{V}}^{\mathbf{T}}\text{\hspace{1em}(11)} \end{gathered}$$

相较于拉普拉斯算子，$\mathbf{H}$ 仅仅改动了对角矩阵上的值，这意味着只有当对角或者边存在时才取得非零值。从算子的角度来看，$\mathbf{H}\mathbf{x}$ 描述了一种作用在每个节点一阶子图上的变换操作。一般来说，称满足上述性质的矩阵为 $G$ 的图位移算子（Graph Shift Operator），拉普拉斯矩阵与邻接矩阵都是典型的图位移算子

称 ${\mathbf{\Lambda }}_{\mathbf{h}}$为图滤波器 $\mathbf{H}$ 的频率响应矩阵，对应的函数 $h(\lambda )$为 $\mathbf{H}$的频率响应函数，不同的频率响应函数可以实现不同的滤波效果。在信号处理中，常见的滤波器有三类：低通滤波器、高通滤波器、带通滤波器。三类常见滤波器的特点如下：

• 低通滤波器：低通滤波器只保留信号中的低频成分，更加关注信号中平滑的部分
• 高通滤波器：高通滤波器只保留信号中的高频成分，更加关注信号中快速变化的部分
• 带通滤波器：带通滤波器只保留信号特定频段的成分

理论上，我们希望实现任意性质的图滤波器，也就是实现任意类型函数曲线的频率响应函数。通过逼近理论，我们可以用泰勒展开 – 多项式逼近函数去近似任意函数。因此基于拉普拉斯矩阵多项式拓展形式的图滤波器定义为：
$$\mathbf{H}={\mathbf{h}}_0{\mathbf{L}}^0+\cdots +{\mathbf{h}}_{\mathbf{k}}{\mathbf{L}}^{\mathbf{k}}=\sum _{\mathbf{k}=0}^{\mathbf{K}}{\mathbf{h}}_{\mathbf{k}}{\mathbf{L}}^{\mathbf{k}}\text{\hspace{1em}(12)}$$
其中 $\mathbf{K}$ 是图滤波器 $\mathbf{H}$ 的阶数，和图信号一样，对于图滤波器，可以同时从空域和频域视角来理解。

空域：

$$\begin{gathered} \mathbf{y}=\mathbf{H}\mathbf{x}=\sum _{\mathbf{k}=0}^{\mathbf{K}}{\mathbf{h}}_{\mathbf{k}}{\mathbf{L}}^{\mathbf{k}}\mathbf{x} \\ \mathbf{y}=\sum _{\mathbf{k}=0}^{\mathbf{K}}{\mathbf{h}}^{\mathbf{k}}{\mathbf{x}}^{(\mathbf{k})}\text{\hspace{1em}(13)} \end{gathered}$$

上式中有 ${\mathbf{x}}^{(\mathbf{k})}={\mathbf{L}}^{\mathbf{k}}\mathbf{x}=\mathbf{L}{\mathbf{x}}^{(\mathbf{k}-1)}$,经过如此变换，将输出图信号变成了 $(K+1)$ 组图信号的线性加权。由于 $\mathbf{L}$ 是一个图位移算子，因此 ${\mathbf{x}}^{(\mathbf{k}-1)}$ 到 ${\mathbf{x}}^{(\mathbf{k})}$ 的变换只需要所有节点的一阶邻居参与计算。总的来看，${\mathbf{x}}^{(\mathbf{k})}$ 的计算只需要所有结点的 $k$ 阶邻居参与，称这种性质为图滤波器的局部性。

总结一下：从空域角度，如果已知图滤波器、图信号、多项式拟合的系数向量可以求得经过滤波输出的图信号。

频域：

根据 $\mathbf{L}=\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{\mathbf{T}}$，可得：
$$\begin{gathered} \mathbf{H}=\sum _{\mathbf{k}=0}^{\mathbf{K}}{\mathbf{h}}_{\mathbf{k}}{\mathbf{L}}^{\mathbf{k}}=\sum _{\mathbf{k}=0}^{\mathbf{K}}{\mathbf{h}}_{\mathbf{k}}(\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{\mathbf{T}}{)}^{\mathbf{k}} \\ \mathbf{H}=\mathbf{V}(\sum _{\mathbf{k}=0}^{\mathbf{K}}{\mathbf{h}}_{\mathbf{k}}{\mathbf{\Lambda }}^{\mathbf{k}}){\mathbf{V}}^{\mathbf{T}}=\mathbf{V}\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}[\sum _{\mathbf{k}=0}^{\mathbf{K}}{\mathbf{h}}_{\mathbf{k}}{\lambda }_1^{\mathbf{k}},\dots ,\sum _{\mathbf{k}=0}^{\mathbf{K}}{\mathbf{h}}_{\mathbf{k}}{\lambda }_{\mathbf{N}}^{\mathbf{k}}]{\mathbf{V}}^{\mathbf{T}}\text{\hspace{1em}(14)} \end{gathered}$$

从中可以看出 $\mathbf{H}$ 的频率响应函数为 $\lambda$ 的 $\mathbf{K}$ 次代数多项式，如果 $\mathbf{K}$ 足够大，可以用这种形式去逼近任意一个关于 $\lambda$ 的函数。

使用上述滤波器进行滤波：
$$\mathbf{y}=\mathbf{H}\mathbf{x}=\mathbf{V}(\sum _{\mathbf{k}=0}^{\mathbf{K}}{\mathbf{h}}_{\mathbf{k}}{\mathbf{\Lambda }}^{\mathbf{k}}){\mathbf{V}}^{\mathbf{T}}\mathbf{x}\text{\hspace{1em}(15)}$$

假设所有的多项式系数 $h$ 构成向量 $\mathbf{h}$，则 $\mathbf{H}$ 的频率响应矩阵为：
$${\mathbf{\Lambda }}_{\mathbf{h}}=\sum _{\mathbf{k}=0}^{\mathbf{K}}{\mathbf{h}}_{\mathbf{k}}{\mathbf{\Lambda }}^{\mathbf{k}}=\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}(\mathbf{\Phi }\mathbf{h})\text{\hspace{1em}(16)}$$

其中 $\mathbf{\Phi }$ 代表范德蒙矩阵，可以反解得到多项式系数 $\mathbf{h}={\mathbf{\Phi }}^{-1}\mathbf{d}\mathbf{i}\mathbf{a}{\mathbf{g}}^{-1}({\mathbf{\Lambda }}_{\mathbf{h}})$。其中 $\mathbf{d}\mathbf{i}\mathbf{a}{\mathbf{g}}^{-1}$ 代表将对角矩阵变成列向量。给定我们想要的频率响应矩阵，可以通过上式反解得到多项式系数。这个式子对于特定性质的图滤波器的设计具有十分重要的意义。

传统意义上的图卷积操作需要进行稠密的拉普拉斯矩阵的特征分解，时间复杂度达到了 $\mathcal{O}(N^3)$，因此后续的图卷积方法都是对卷积核的优化，来减少参数量。

图卷积神经网络

给出图卷积运算的定义式：
$${\mathbf{x}}_1\ast {\mathbf{x}}_2=\mathbf{V}(({\mathbf{V}}^{\mathbf{T}}{\mathbf{x}}_1)\odot ({\mathbf{V}}^{\mathbf{T}}{\mathbf{x}}_2))=\mathbf{V}({\tilde{\mathbf{x}}}_1\odot ({\mathbf{V}}^{\mathbf{T}}{\mathbf{x}}_2))$$
$${\mathbf{x}}_1\ast {\mathbf{x}}_2=\mathbf{V}(\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\tilde{\mathbf{x}}}_1)({\mathbf{V}}^{\mathbf{T}}{\mathbf{x}}_2))\text{\hspace{1em}(17)}$$
$${\mathbf{x}}_1\ast {\mathbf{x}}_2=(\mathbf{V}\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\tilde{\mathbf{x}}}_1){\mathbf{V}}^{\mathbf{T}}){\mathbf{x}}_2$$

该式的出发点在于，频域上信号与卷积核的乘积操作等价于时域中信号与卷积核的卷积操作。基于上述准则，利用拉普拉斯矩阵特征分解所得到特征向量作为一组在频域空间的正交基进行图傅里叶变换完成对时域信号的转换 ${\mathbf{V}}^{\mathbf{T}}{\mathbf{x}}_2$，卷积核为 ${\mathbf{V}}^{\mathbf{T}}{\mathbf{x}}_1={\tilde{\mathbf{x}}}_1=\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\tilde{\mathbf{x}}}_1)$ 已经在频域中定义。最后经过图傅里叶逆变换得到时域中的表达形式。

令 ${\mathbf{H}}_{{\tilde{\mathbf{x}}}_1}=\mathbf{V}\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\tilde{\mathbf{x}}}_1){\mathbf{V}}^{\mathbf{T}}$，显然 ${\mathbf{H}}_{{\tilde{\mathbf{x}}}_1}$ 是一个图位移算子，其频率响应矩阵为 ${\mathbf{x}}_1$ 的频谱，${\mathbf{x}}_1$ 指的就是图卷积核，于是可得 ${\mathbf{x}}_1\ast {\mathbf{x}}_2={\mathbf{H}}_{{\tilde{\mathbf{x}}}_1}{\mathbf{x}}_2$。两组图信号的图卷积运算总能转化为对应形式的图滤波运算，从这个层面上看，图卷积等价于图滤波。

1. 对频率响应矩阵进行参数化
图卷积操作等价于图滤波操作，而图滤波算子的核心在于频率响应矩阵，因此可以对频率响应矩阵进行参数化，基于此可以定义如下的神经网络层：
$$\begin{gathered} {\mathbf{X}}^{\prime }=\sigma (\mathbf{V}\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}({\theta }_1,\dots ,{\theta }_{\mathbf{N}}){\mathbf{V}}^{\mathbf{T}}\mathbf{X}) \\ {\mathbf{X}}^{\prime }=\sigma (\mathbf{V}\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}(\theta ){\mathbf{V}}^{\mathbf{T}}\mathbf{X}) \\ {\mathbf{X}}^{\prime }=\sigma (\Theta X)\text{\hspace{1em}(18)} \end{gathered}$$

其中 $\theta =[{\theta }_1,{\theta }_2,\dots ,{\theta }_N]$ 是需要学习的参数，$\Theta$ 是对应的需要学习的图滤波器。该操作可以分别从空域角度和频域角度来理解：

• 空域视角：该层引入了一个自适应的图位移算子，通过学习的手段指导该算子的学习，从而完成对输入图信号的针对性变换操作
• 频域视角：该层在 $\mathbf{X}$ 与 ${\mathbf{X}}^{\prime }$ 之间训练了一个可自适应的图滤波器。图滤波器的频率响应函数是怎样的，可以通过任务与数据之间的对应关系来进行监督学习

上述思路虽然简单易懂，但是也存在一个较大的问题：引入的学习参数过多，需要学习的参数量与图中的节点数一致，这在大规模图数据中，比如上亿节点数规模的图中极易发生过拟合问题

在真实图数据中，数据的有效信息通常都蕴含在低频段中，因此为图滤波器设置 $N$ 个维度的自由度，且对每个频率进行学习是有必要的

2.对多项式系数进行参数化
同样，为了拟合任意的频率响应函数，可以将拉普拉斯矩阵的多项式形式转化为一种可学习的形式。具体表示如下：
$${\mathbf{X}}^{\prime }=\sigma (\mathbf{V}(\sum _{\mathbf{k}=0}^{\mathbf{K}}{\theta }_{\mathbf{k}}{\mathbf{\Lambda }}^{\mathbf{k}}){\mathbf{V}}^{\mathbf{T}}\mathbf{X})=\sigma (\mathbf{V}\mathbf{d}\mathbf{i}\mathbf{a}\mathbf{g}(\mathbf{\Phi }\theta ){\mathbf{V}}^{\mathbf{T}}\mathbf{X})\text{\hspace{1em}(19)}$$

其中 $\theta =[{\theta }_1,{\theta }_2,\dots ,{\theta }_{\mathbf{k}}]$ 是多项式系数向量，也是网络层真正需要学习的参数，与前述方法不同的是，这个方法的参数量 $\mathbf{K}$ 可以自由控制，$\mathbf{K}$越大可拟合的频率响应函数的次数就越高，可以对应输入图信号矩阵与输出图信号矩阵之间复杂的滤波关系；$\mathbf{K}$ 越小，可拟合的频率响应函数的次数就越低，可以对应输入图信号矩阵与输出图信号矩阵之间简单的滤波关系。总的来说，一般设 $\mathbf{K}\ll \mathbf{N}$ 这将大大降低模型过拟合的风险

3.设计固定的图滤波器

前述方法虽然大大降低了参数量，但由于对矩阵特征分解比较依赖而给计算带来了极高的复杂度。在 GCN（2017tkipf） 中对上述表达式进行了限制，令 $\mathbf{K}=1$，则化简为如下形式：
$${\mathbf{X}}^{\prime }=\sigma ({\theta }_0\mathbf{X}+{\theta }_1\mathbf{L}\mathbf{X})\text{\hspace{1em}(20)}$$
进一步令 ${\theta }_0={\theta }_1=\theta$ 化简为如下形式：
$${\mathbf{X}}^{\prime }=\sigma (\theta (\mathbf{I}+\mathbf{L})\mathbf{X})=\sigma (\theta \tilde{\mathbf{L}}\mathbf{X})\text{\hspace{1em}(21)}$$
这里的 $\theta$ 是一个标量，相当于对 $\tilde{\mathbf{L}}$ 的频率响应函数做了一个尺度变换，通常这种尺度变换在神经网络模型中会被归一化操作替代，因此该参数没有必要引入，因此可以设 $\theta =1$，就进一步化简得到了一个固定的图滤波器 $\tilde{\mathbf{L}}$。

为了加强神经网络学习的数值稳定性，避免出现梯度爆炸或者梯度消失的现象，作者仿照正则拉普拉斯矩阵，对 $\tilde{\mathbf{L}}$ 也做了归一化处理，所采用的对称归一化的形式 ${\tilde{\mathbf{L}}}_{\mathbf{s}\mathbf{y}\mathbf{m}}={\tilde{\mathbf{D}}}^{-\frac{1}{2}}\tilde{\mathbf{A}}{\tilde{\mathbf{D}}}^{-\frac{1}{2}},\tilde{\mathbf{A}}=\mathbf{A}+\mathbf{I},{\tilde{\mathbf{D}}}_{\mathbf{i}\mathbf{i}}={\sum }_{\mathbf{k}}{\tilde{\mathbf{A}}}_{\mathbf{i}\mathbf{j}}$。其中 ${\tilde{\mathbf{L}}}_{\mathbf{s}\mathbf{y}\mathbf{m}}$ 的特征值范围是 $(-1.1]$，可以有效地防止多层网络优化时出现的梯度消失或爆炸的现象。

为了加强神经网络的拟合能力，设计了一个参数化的权重矩阵 $\mathbf{W}$ 对输入的图信号矩阵进行仿射变换，得到：
$${\mathbf{X}}^{\prime }=\sigma ({\tilde{\mathbf{L}}}_{\mathbf{s}\mathbf{y}\mathbf{m}}\mathbf{X}\mathbf{W})\text{\hspace{1em}(22)}$$

这个就是最被广泛接受的图卷积网络范式，由 tkipf 提出。

该计算是对频率响应函数拟合形式上的极大简化，最后相应的图滤波器退化成了 ${\tilde{\mathbf{L}}}_{\mathbf{s}\mathbf{y}\mathbf{m}}$, 图卷积操作变成了 ${\tilde{\mathbf{L}}}_{\mathbf{s}\mathbf{y}\mathbf{m}}\mathbf{X}$。如果将 $\mathbf{X}$由信号矩阵的角色切换到特征矩阵上，由于${\tilde{\mathbf{L}}}_{\mathbf{s}\mathbf{y}\mathbf{m}}$是一个图位移算子，依据矩阵乘法的行向量视角 ${\tilde{\mathbf{L}}}_{\mathbf{s}\mathbf{y}\mathbf{m}}\mathbf{X}$ 的计算等价于对邻居节点的特征向量做聚合操作，于是图卷积在节点层面的计算公式如下：

$${\mathbf{x}}_{\mathbf{i}}=\sigma (\sum _{{\mathbf{v}}_{\mathbf{j}}\in \mathbf{N}({\mathbf{v}}_{\mathbf{i}})}{\tilde{\mathbf{L}}}_{\mathbf{s}\mathbf{y}\mathbf{m}}[\mathbf{i},\mathbf{j}](\mathbf{W}{\mathbf{x}}_{\mathbf{j}}))\text{\hspace{1em}(23)}$$

相较于频域图卷积中矩阵分解时 $\mathcal{O}(N^3)$ 的时间复杂度，这种空域图卷积计算的时间复杂度可以降至 $\mathcal{O}(|E|d)$

4.总结

• ${\tilde{\mathbf{L}}}_{\mathbf{s}\mathbf{y}\mathbf{m}}$ 本身所具有的滤波特性是比较符合真实数据的特有性质的，能对数据实现高效的滤波操作
• 虽然 GCN 层是由对频率响应函数的线性近似推导出来的，但是和深度学习中深度网络给模型带来的强大拟合能力一样，堆叠多层 GCN 层，在某种程度上可以达到高阶多项式形式的频率响应函数的滤波能力。这种简化单层网络的学习能力，通过增加深度来提升模型表达能力的做法，在 CNN 模型中表现出了极强的工程优越性。事实证明，这种所带来的优越性也在 GCN 后续的多项相关论文中得到了展示，以 GCN 为代表的模型成为了个给图数据学习任务的首选。