【论文笔记】Simplifying Graph Convolutional Networks --- LCML2019

本文介绍了一种简化版的GCN网络,其在某些任务上取得了与其他方法相媲美的成绩,并且大大减少了运算量,调高了计算效率。

 

概述

GCN和它的变体已经成为了图表示学习的事实方法。GCN的灵感主要来自最近的深度学习方法,它可能继承了一些不必要的复杂性和冗余计算。在本文中,我们将通过移除连续层中的非线性变换、折叠权重矩阵来减少计算过量的复杂度。我们从理论上分析了所得到的线性模型,并表明它等价于一个固定的低通滤波器(后面有个线性分类器)。模型对大多数下游任务没有负面影响。

1 介绍

GCNs是CNN在图结构数据上的一种变体。GCNs将学习的一阶谱滤波器层堆叠,然后用非线性激活函数来进行图表示学习。在很多地方都取得了很好的效果。

历史上,机器学习的算法有一个清楚的趋势是从简单到(需求驱动)复杂。由于额外的算法复杂度往往使理论分析复杂化并使理解变得模糊,因此通常只在简单方法不能有效解决的应用中引入。可以说,现实中的大多数应用都是线性的,可以直接优化并且容易解释。

但是,图神经网络的发展是直接建立在多层神经网络的基础上,从来不是简单(不充分)线性对应物的扩展。

我们想制造出一个GCNs网络‘之前’的简单的网络结构,具体操作是移除非线性变换、折叠权重矩阵来制造一个线性转换。我们的经验表明,最终的线性模型在各种任务上表现出与GCNs相当甚至更好的性能,同时计算效率更高,拟合的参数明显更少。我们这这个模型叫Simple Graph Convolution(SGC)。

在SGC中的特征提取对应于一个固定的滤波器应用在每个特征维度上。Kipf(频域第三篇)利用重整化技巧(renormalization trick),给图添加自连接,提高了准确性,并且我们证明了这种方法有效减少了图谱域,导致应用在SGC中相当于一个低通滤波器。这种过滤操作会在整个图形中产生局部平滑的特征。

通过对引文和社会网络的节点分类基准数据集的实证评估,我们发现SGC的性能可以与GCN和其他最先进的图神经网络相媲美。在我们评估的最大数据集(Reddit)上,它的速度明显更快,甚至比Fast GCN(Chen等人,2018)高出两个数量级。

2.SGC

定义图G=\left ( V ,\right A),V\left \{ v_{1},....,v_{n} \right \}表示节点,A\in \mathbb{R}^{n*n}是对称邻接矩阵a_{ij}表示节点v_{i}v_{j}的边。没有边则a_{ij}=0,定义度矩阵D=diag(d_{1},...,d_{n})为一对角矩阵,d_{i}=\sum_{j} a_{ij}

每个节点都由d维的隐藏向量表示。x_{i}\in \mathbb{R}^{d}X\in \mathbb{R}^{n*d}表示全部节点的特征。

2.1图卷积网络GCN

初始的输入为(第一层):

一个k层的GCN相当于应用K层MLP对图中的每个节点,每个节点的隐藏表示在每个层的开始处与相邻节点平均。在GCN层中,节点的更新分为三步 1.特征传播2.线性变换3.点态非线性激活

特征传播

对于单个节点v_{i}来说:

矩阵运算:

\tilde{D}\tilde{A}的度矩阵

每一步都是平滑相邻节点的隐藏表示,并鼓励相邻节点有相似的预测

特征变换与非线性变换

\Theta ^{(k)}是一个可以学习的权重矩阵

分类

 

最后应用一个分类器判别类别

2.2SGC

在传统MLP中,更多的层次会增加模型的表现因为它允许特征层次的创建,第二层的特征建立在第一层特征之上。在GCN中,一层有两个作用,在每一层的隐藏表示是从一跳邻居中平均的。这说明第k层可以或者k跳邻居的信息。这与CNN是很像的,更多的层数会增加感受野。

线性化

我们假设非线性激活在GCN层中是不重要的,主要的优点是局部平均,所以移除了非线性变换,最终得到K层的GCN表示为:

再次简化:

 

我们把这叫做SGC。

逻辑回归

我们通过特征提取和分类

特征提取/平滑:

逻辑回归分类:

优化详细信息

3频谱分析

我们现在从图卷积的角度来研究SGC。我们证明了SGC对应于图谱域上的一个固定滤波器。此外,我们增加了自连接(重整化技巧),有效地缩小了底层的图形频谱。在这个缩放域中,SGC作为一个低通滤波器,在图形上产生平滑的特征,附近的节点往往共享相似的表示,因此也会共享预测。

3.1图卷积的初步研究

频域卷积的三大步(略)

3.2SGC和低通滤波

4相关工作

4.1图神经网络

4.2有关图的其他工作

5.实验和讨论

 

5.1引文网络与社会网络

5.2下游任务

6结论

为了更好的理解GCN网络的机制,我们提出了简单的图卷积网络SGC,这个算法是不重要的,基于图的预处理步骤,然后是标准的多类logistic回归,但是这个模型的表现是令人惊讶的,在很多任务上都有较为良好的表现。另外,通过预先计算固定特征提取器S^{K},训练时间已经非常低了。

从频域角度分析,我们发现SGC详单与在频域领域的低通滤波器。低通滤波器捕获低频信号,这与在图中做平滑一样。我们的分析也提供了对“重整化技巧”的经验推进的洞察,并展示了缩小光谱域如何导致低通型滤波器,从而支撑SGC。

最后,SGC的强大性能给gcn带来了启示。GCNs的表达能力可能主要来自于重复的图传播(SGC保留了这一点),而不是非线性特征提取(SGC没有)。

我们认为SGC应该被重视:

1.作为第一个模型去尝试,尤其是对节点分类任务(可以节省大量的时间)

2.作为一个未来模型的基本对比baseline

3.作为一个图学习的出发点(历史角度)

 

 

 

 

 

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值