[图卷积网络]Spectral Networks and Deep Locally ConnectedNetworks on Graphs

论文背景:

        本文为图卷积网络的肇始论文，CNN在处理图像和音频等格点数据上表现优异，但在图等非欧几里得结构数据中，CNN的平移不变性难以直接应用。为了克服这一问题，作者提出了两种将CNN推广到图数据上的方法：

• 基于空间的层次聚类。
• 基于图Laplacian谱的卷积操作。

论文方法:

• 空间构造（Spatial Construction）：

  • 将CNN的本地卷积操作推广到图上，通过定义图的局部邻域来减少参数，并引入多分辨率的聚类方法进行下采样。
  • 利用图的加权矩阵来定义图上的局部性，从而在卷积层中仅需处理图中的局部邻域，从而显著减少参数量。

• 谱构造（Spectral Construction）：

  • 通过图的Laplacian矩阵进行傅里叶变换，从频域上进行卷积操作。基于图Laplacian的特征值分解来实现频域的卷积，并利用频谱的平滑性来减少训练参数。
  • 这种方法通过利用图的全局结构进行卷积运算，能够在输入维度不变的情况下实现参数数量独立的网络架构。

空间构造:

1. 引入

在传统的CNN中，卷积操作依赖于输入数据的格点结构（如图像中的2D像素网格）。CNN通过在局部的邻域内共享参数，实现了有效的局部模式学习。然而，在图结构上，数据并不一定具有规则的格点排列，因此标准的CNN方法无法直接应用。为了将CNN的局部特征提取能力推广到图结构上，论文提出了一种空间构造方法。

2. 图的定义

在空间构造中，图结构被定义为 G=(Ω,W)G = (\Omega, W)G=(Ω,W)，其中：

• Ω\OmegaΩ 是节点的集合，表示图中的所有节点。
• WWW 是一个对称的、非负的邻接矩阵，表示节点之间的权重关系。

权重矩阵 WWW 定义了图上节点之间的相似性或距离。根据这个权重矩阵，可以在图上定义局部邻域，用于模拟CNN中卷积核的局部感受野。

3. 局部性（Locality via W）

局部性是空间构造的核心概念之一。在图上，通过权重矩阵 WWW 来定义节点的邻域。具体来说，给定一个阈值 δ\deltaδ，节点 jjj 的邻域 Nδ(j)N_\delta(j)Nδ​(j) 定义为：

Nδ(j)={i∈Ω:Wij>δ}N_\delta(j) = \{ i \in \Omega : W_{ij} > \delta \}Nδ​(j)={i∈Ω:Wij​>δ}

该邻域定义了图上与节点 jjj 相似度超过 δ\deltaδ 的节点集合，类似于CNN中的局部感受野。通过仅在这些邻域内进行操作，减少了参数量。

4. 多分辨率分析（Multiresolution Analysis）

在CNN中，使用池化（Pooling）和下采样（Subsampling）层逐步减少输入数据的维度。类似地，在图上可以通过多分辨率聚类来实现这种机制。具体步骤如下：

1. 对图进行层次聚类，生成不同层次的聚类结果，每个聚类代表一个区域的节点集合。
2. 在聚类的每一层中，输入特征图会被下采样，并汇总聚类区域内的特征。

通过这种方法，图上的空间分辨率逐步降低，但特征维度逐步增加，形成了一种分层的图卷积网络结构。这种方法的优点在于，它可以逐步聚合图上不同区域的特征，类似于CNN中通过池化操作来捕获全局信息。

5. 深度局部连接网络（Deep Locally Connected Networks）

空间构造网络的核心是局部连接的多层网络。其基本结构为：

• 将图 Ω0=Ω\Omega_0 = \OmegaΩ0​=Ω 分成 KKK 层聚类，每一层 Ωk\Omega_kΩk​ 是上一层 Ωk−1\Omega_{k-1}Ωk−1​ 的聚类。
• 每一层的输入是上一层的特征图，输出则是基于当前层的聚类结构和局部连接进行卷积操作后的新特征图。

假设输入信号为 xkx_kxk​，则第 kkk 层网络的输出通过以下方式计算：

xk+1,j=Lk(∑i=1fk−1Fk,i,jxk,i)x_{k+1, j} = L_k \left( \sum_{i=1}^{f_{k-1}} F_{k,i,j} x_{k,i} \right)xk+1,j​=Lk​(i=1∑fk−1​​Fk,i,j​xk,i​)

其中：

• Fk,i,jF_{k,i,j}Fk,i,j​ 是稀疏矩阵，仅在邻域 NkN_kNk​ 中有非零值，表示第 kkk 层的卷积核。
• LkL_kLk​ 是池化操作，用于聚合当前聚类中的特征。

这种方式下，每一层网络逐步减少空间分辨率，同时增加特征维度，最终得到一个特征丰富的全局表示。

6. 参数复杂度分析

空间构造的一个重要特点是其参数量与输入数据的节点数无关。对于第 kkk 层，参数量为：

O(Sk⋅∣Ωk∣⋅fk⋅fk−1)O(S_k \cdot |\Omega_k| \cdot f_k \cdot f_{k-1})O(Sk​⋅∣Ωk​∣⋅fk​⋅fk−1​)

其中：

• SkS_kSk​ 是第 kkk 层的平均邻域大小。
• ∣Ωk∣|\Omega_k|∣Ωk​∣ 是第 kkk 层的节点数。
• fkf_kfk​ 是第 kkk 层的特征图数量。

由于每一层的邻域大小 SkS_kSk​ 通常远小于节点数，整个网络的参数量近似为 O(n)O(n)O(n)，而不是全连接网络中的 O(n2)O(n^2)O(n2)。

7. 优缺点

• 优点：空间构造方法非常适合处理低维图数据，并且在参数量较少的情况下可以实现有效的卷积操作。
• 缺点：由于每个位置的权重是独立的，该方法无法像标准CNN那样进行权重共享，可能会导致特征在全局上的一致性较差。

频谱构造:

1. 图拉普拉斯矩阵（Graph Laplacian）

在图结构中，图拉普拉斯矩阵是定义频域操作的关键。对于一个无向图 G=(V,E)G = (V, E)G=(V,E)，图拉普拉斯矩阵 LLL 定义为：

L=D−WL = D - WL=D−W

其中，DDD 是图的度矩阵，WWW 是图的邻接矩阵。

• 度矩阵 DDD：是一个对角矩阵，其中每个对角元素表示与该节点相连的边的数量。
• 邻接矩阵 WWW：表示图中节点之间的连接权重。

2. 谱分解（Spectral Decomposition）

通过对拉普拉斯矩阵 LLL 进行特征分解，可以得到图的频谱信息。拉普拉斯矩阵的特征向量 {v0,v1,…,vn−1}\{v_0, v_1, \dots, v_{n-1}\}{v0​,v1​,…,vn−1​} 表示图中的不同“频率模式”，特征值 λi\lambda_iλi​ 表示对应频率的大小。这与欧几里得空间中的傅里叶变换类似，其中傅里叶基函数用来表示不同频率的正弦波。

• 低特征值对应图中的低频模式，表示图中较为平滑的变化，通常反映图中的全局结构。
• 高特征值对应图中的高频模式，表示图中局部的快速变化。

3. 图卷积的定义

在谱构造中，卷积操作通过图拉普拉斯的特征向量空间来实现。具体来说，对于图中的一个信号 xxx（通常是节点上的特征），其谱域中的表示为：

x^=VTx\hat{x} = V^T xx^=VTx

其中 VVV 是拉普拉斯矩阵的特征向量矩阵。

卷积操作在谱域中可以表示为对信号的每个频率模式应用一个滤波器。对于图中的卷积操作，可以通过频域中的滤波来实现，即：

x∗g=V⋅g(Λ)⋅VTxx * g = V \cdot g(\Lambda) \cdot V^T xx∗g=V⋅g(Λ)⋅VTx

其中，g(Λ)g(\Lambda)g(Λ) 是一个对角矩阵，表示在频域中应用的滤波器，Λ\LambdaΛ 是拉普拉斯矩阵的特征值矩阵。

4. 谱卷积的优点

• 全局信息捕获：通过谱域中的滤波器，卷积可以同时作用于图的全局结构，因此特别适合处理那些具有全局模式的图。
• 数学严谨性：谱构造基于图的拉普拉斯特征分解，具有很强的数学基础，类似于傅里叶变换在信号处理中的作用。

5. 谱卷积的局限性

• 计算复杂度高：计算拉普拉斯矩阵的特征分解非常昂贵，尤其是在大型图上，因此谱卷积的计算复杂度较高。
• 局部化问题：在谱域中进行卷积虽然可以捕捉全局模式，但在高频模式下可能会丢失局部信息，导致对图中局部特征的表达能力不足。为了克服这一问题，通常会在谱滤波器上施加平滑约束，以保证频谱滤波器能够局部化。

适用场景:

• 社交网络：分析用户之间的关系，通过全局卷积捕捉社区结构。
• 知识图谱：通过频域中的卷积操作，捕获实体和关系的全局模式。
• 分子结构预测：在分子图中使用谱卷积，预测化学分子的性质。