拉普拉斯算子属于卷积方法吗_论文笔记 - 图卷积神经网络综述

文献题目：图卷积神经网络综述
文献来源：计算机学报，2019
文献原文： https:// kns.cnki.net/kcms/detai l/11.1826.tp.20191104.1632.006.html

1、摘要

本文对图卷积神经网络进行综述。首先介绍了图卷积神经网络的背景并梳理了两类经典方法：谱方法和空间方法，谱方法借助卷积定理在谱域定义图卷积，空间方法通过在节点 实现图卷积。进而介绍了GCN的最新进展。最后对GCN的发展趋势进行了总结和展望。

2、引言

传统的卷积神经网络只能处理欧氏空间数据，如图像、文本、语音等，这些领域的数据具有平移不变性。平移不变性指以任意像素点为中心，可以获取相同尺寸的局部结构。平移不变性使得我们可以在输入数据空间定义全局共享的卷积核，从而定义卷积网络。

图数据是一种非欧空间数据，其每个节点的局部结构各异，使得平移不变性不再满足。

GCN构建的挑战

• 图数据是非欧空间数据，不具有平移不变性，但传统卷积神经网络中基本算子：卷积和池化，依赖于数据的平移不变性
  池化：通过减少输入的大小降低输出值的数量
• 图数据具有多样的特性
• 图数据规模大

图数据建模现有方法

统计分析：PageRank、HITS等

网络嵌入（Network Embedding）：通过约束节点的邻近性为每个节点学习固定长度的表达，如DeepWalk、LINE、node2vec等

图神经网络：ChebNet、GCN等

图数据建模处理任务

节点级别的任务：节点分类、链接预测…

图级别的任务：图生成、图分类…

3、图卷积神经网络 - GCN

图卷积神经网络主要包括卷积算子和池化算子的构建，其中卷积算子的目的是刻画节点的局部结构， 而池化算子的目的是学到网络的层级化表示以降低参数。

3.1 图卷积算子的构建

现有的GCN分为谱方法和空间方法两类：

谱方法利用图上卷积定理从谱域定义图卷积；

空间方法从节点域出发通过定义聚合函数来聚合每个中心节点和其邻近节点。

3.1.1 GCN - 谱方法

谱方法利用卷积定理从谱域定义图卷积。

a、图信号处理

卷积定理：信号卷积的傅立叶变换等价于信号傅立叶变换的乘积。

利用卷积定理，我们可以对谱空间的信号做乘法，再利用傅里叶逆变换将信号转换到原空间来实现图卷积。

图上傅立叶变换的定义依赖于拉普拉斯矩阵的特征向量，以特征向量作为谱空间傅立叶变换的下一组基底，对于信号

：

傅立叶变换：

傅立叶逆变换：

其中，

是信号在节点域的原始表示，

是信号变换到谱域之后的表示，

是拉普拉斯矩阵的特征向量。

利用傅立叶变换和逆变换，基于卷积定理实现图卷积算子：

其中，

表示图卷积算子，

表示节点域的信号，

表示哈达玛乘法（两个向量对应元素相乘）。

用一个对角阵

替代向量

作为卷积核，则图卷积表示成：

b、基于卷积定理的图卷积神经网络

谱卷积神经网络（Spectral CNN）

思路：将卷积核作用在谱空间的输入信号上，并利用卷积定理实现图卷积，以完成节点之间的信息聚合，然后将非线性激活函数作用在聚合结果上，并堆叠多层形成神经网络。

模型：神经网络第m层结构

缺点：该模型不满足局部性，使得谱卷积神经网络的局部性没有保证，即产生信息聚合的节点并不一定是邻近节点。

小波神经网络（GWNN）

用小波变换代替傅立叶变换实现卷积定理。

以

表示小波变换的基底，其中

表示从第

个节点出发的能量扩散，刻画了第

个节点的局部结构。

小波基底的定义依赖于拉普拉斯矩阵的特征向量。

不同的

函数赋予小波基底不同的性质，在小波神经网络中，使用热核函数

优点：

1. 小波变换的基底可以通过切比雪夫多项式近似得到，避免拉普拉斯矩阵特征分解的高昂代价；
2. 小波变换的基底具有局部性；
3. 小波基底的局部性使得小波变换矩阵非常稀疏，这大大降低了
   的计算复杂度，使计算过程更加高效；
4. 热核函数中的超参数
   用以表示热量扩散的范围，通过调节超参数
   可以灵活的适应于不同任务场景。

模型：神经网络第m层结构

切比雪夫网络（ChebyNet）

切比雪夫网络对卷积核

进行参数化：

其中，

是需要学习的系数，

切比雪夫多项式是通过递归得到的，递归表达式：

，其中，

模型：神经网络第m层结构

拉普拉斯矩阵

优点：

1. 且巧妙的引入拉普拉斯矩阵，避免了拉普拉斯矩阵的特征分解；
2. 在拉普拉斯矩阵中，当且仅当节点
   满足K跳可达时，
   ，使得当K较小时，切比雪夫网络具有局部性。

图热核网络（GraphHeat）

Spectral CNN是非参滤波器，GWNN、ChebyNet是高通滤波器，与图半监督学习要求平滑性先验不一致。

图热核网络利用热核函数参数化卷积核，进而实现低通滤波器。

3.1.2 图卷积神经网络空间方法

空间方法旨在从节点域出发，通过定义聚合函数来聚合每个中心节点和其邻近节点。

近期工作通过注意力机制或递归神经网络等直接从节点域学习聚合函数。

a、通用框架

混合卷积网络（MoNet）

着眼于图上平移不变性的缺失，通过定义映射函数将每个节点的局部结构映射为相同尺寸的向量，进而在映射后的结果上学习共享的卷积核。

MoNet在图上定义坐标系，并将节点之间的关系表示为新坐标系下的一个低维向量。

同时定义一簇权重函数，权重函数作用在以一个节点为中心的所有邻近节点上，其输入为节点间的关系表示，输出为一个标量值。通过权重函数，MoNet为每个节点获得相同尺寸的向量表示：

其中，

表示

邻近节点集合，

表示节点

在信号

上的取值，

表示坐标系

下节点、关系的低维向量表示，

表示第

个权重函数，

表示权重函数的个数。该操作使得每个节点都得到一个

维的表示，且这个表示融合了节点的局部结构信息。

MoNet模型是在这个

维表示上定义共享卷积核：

其中，

指卷积核。

消息传播网络（MPNNs）

立足于节点之间的信息传播聚合，通过定义聚合函数的通用形式提出框架。

MPNNs认为图卷积的核心在于定义节点之间的聚合函数，基于聚合函数，每个节点可以表示为周围节点和自身的信息叠加。

MPNNs分为两个步骤：

• 将聚合函数作用在每个节点及其邻近节点 上，得到节点的局部结构表达
• 将更新函数作用在自身和局部结构表达上，得到当前节点的新表达

聚合函数：

更新函数：

其中，

表示第

步节点

的隐层表示，

表示节点

的连边特征，

表示第

步的聚合函数，

表示节点

通过聚合函数后得到的局部结构表达，

表示第

步的更新函数。

b、基于聚合函数的图卷积神经网络

在图神经网络中，聚合函数被定义为循环递归函数的形式，每个节点以周围节点和连边作为来源信息更新自身的表达：

其中，

分别表示节点

的标签、与节点

相连的边的标签，

的邻居节点的标签，以及

的邻居节点上一个时间步的表达，

是聚合函数，在文章后再难过定义为递归函数，迭代更新节点的表达直至收敛。

图神经网络定义全局输出函数，并作用在收敛后每个节点的表达上得到最终输出结果，其中

表示全局输出函数：

图注意力网络（GAT）

GAT通过注意力机制定义聚合函数，每一层结构如图所示：(a)以节点

的特征表达作为输入，计算

之间的注意力权重并归一化；(b)利用注意力权重将周围节点的表达以加权和的形式聚合到自身。

GAT注意力权重和表达更新的计算公式分别如下：

其中，参数

用于完成每个节点的特征维度变换，参数

用于计算节点间的注意力权重，

表示向量拼接，

表示节点

之间的权重，

表示非线性激活函数。

图采样聚合网络（GraphSAGE）

上述模型在处理时需要加载整个网络的节点特征，阻碍了模型在大规模网络上的应用。

不同于以往模型考虑所有邻近节点，图采样聚合网络对邻近节点做随机采样，使得 每个节点的邻近节点都小于给定的采样个数。

示例：

1.中红色为目标节点，随机采样一阶、二阶邻居作为相关节点

2.中将聚合函数作用在相关节点的特征表达上，用聚合结果更新目标节点的特征表达

3.中利用聚合后的目标节点特征表达完成后续任务

聚合函数的形式包含：基于最大值的聚合、基于均值的聚合、长短时记忆网络

基于最大值的聚合：取相关节点的最大值；

基于均值的聚合：取相关节点的均值

长短时记忆网络：将相关节点输入LSTM，并把输出作为聚合结果

基于置信度的图卷积网络(ConfGCN)

不同于以往认为节点只属于唯一标签的方法， 基于置信度的图卷积网络（ConfGCN） 认为节点是以一定的置信度属于一个标签，因此ConfGCN给每个节点学习置信度函数，并将其作用在节点相关性上，修正聚合函数。

超图卷积网络(HGNN)

超图卷积网络(HGNN)认为节点间的相关性不应该是节点两两之间产生，而是一组节点相互影响进而构建组内节点相关性。基于此想法，HGNN将边拓展到连接多个节点的超边，在超边上定义聚合函数进行节点特征传播。

3.2 图池化操作

池化算子能一方面能够减少学习的参数，另外一方面能反应输入数据的层次结构。

在图卷积神经网络中，在解决节点级别的任务如节点分类、链接预测时，池化算子并非必要。

4、图卷积神经网络的新进展

4.1 建模网络额外信息的图卷积网络

4.1.1 建模边上信息的图卷积网络

在实际中，不同网络的边蕴含不同类型的信息：低维离散的类型信息、低维连续的权重信息、高维连续的属性信息等。

子图拆解法

法将包含复杂额外信息的网络化数据 拆解成多个不同的子图，拆解后每个子图只包含单一的连边类型，对拆解后的每个子图利用传统的图卷积神经网络建模，最后将不同子图上得到的结果按特定方式进行聚合。

• 关系图神经网络R-GCNs

根据连边的方向、边上的标签类型将原来的网络拆分成不同的子网络，在每个子图上独立地进行邻居特征的聚合。

每 一层在聚合操作结束后，将节点在不同子图上得到的结果相加，作为下一层网络的输入。

关系图注意力网络（R-GAT）在R-GCNs的基础上引入了注意力机制。

• 符号图卷积网络 (SGCN)

符号网络（signed network）：除了“敌对关系”、“朋友关系”，还具有结构平衡（structural balance），认同“敌人的敌人是朋友”，即两跳“敌对”或“朋友”关系。

对偶图构建法

通过构建对偶网络的方式，将原网络中的边转换成对偶网络中的节点，将原图中边上的特征转移到了对偶图的节点上。

该方法能适用于具有高维边特征的场景。

权重重调法

此类方法认为边上的特征信息只会影响中心节点聚合邻居节点特征的权重，因此这类方法在计算聚合权重时引入了边 上的特征信息。

• 边注意力网络EGAT

边注意力网络改变了传统图注意力网络计算节点之间注意力权重的方式，将边上的特征也作为一个重要的输入参与权重的计算。

• 边约束卷积网络ECC

将图上连边的类 型用低维向量表示，并将这些向量通过单层线性神 经网络转化为该连边对应两个节点间的聚合权重。

4.1.2 建模网络高阶信息的图卷积网络

高阶图卷积神经网络 (HA-GCN)

用

阶邻接矩阵

替换GCN中的

。

模体卷积网络 (Motif-CNN)

利用模体来定义网络上的卷积算子，根据节点的语义角色信息来共享参数。

异质注意力网络（HAN）

利用元路径(meta-path)来定义卷积操作，对于同一种元路径共享参数

4.2 图卷积网络的训练技术

在大规模网络上，堆叠多层图卷积网络会造成效果的下降等缺陷。

4.2.1 深层图卷积神经网络

在堆叠多层图卷积层后，由于节点之间的特征变得过于平滑缺少区分性，会导致网络的效果变差。

跳跃知识网络 (Jumping Knowledge Network)

跳跃知识网络使用跳跃连接和注意力机制为每个节点选择合适的传播范围。

跳跃连接将每一层图卷积的结果都连接到网络的最后一层，并且在最后一层引入自适应的聚合机制，为每个节点选择合适的邻居范围。跳跃知识网络可以使用多种聚合方式，包括拼接、最大池化以及递归神经网络。

4.2.2 大规模网络图卷积技术

GraphSAGE

使用分批量的训练方法，结合采样邻居节点（Neighbor Sampling，NS）的方法，将每次计算所需要的节点数目控制在一定范围之内。基于方差控制的算法（Control Variate Based Algorithm，CV）在NS的基础上利用那些没有被采样到的节点的历史表达(historical activation)来控制方差。

4.2.3 半监督节点分类问题的训练技术

DGCN通过 引入PPMI矩阵的方式减少了一阶邻居对节点的影响，同时引入了相比一阶邻居更加丰富的关系。

5、应用