本文介绍了一种简化版的GCN网络,其在某些任务上取得了与其他方法相媲美的成绩,并且大大减少了运算量,调高了计算效率。
概述
GCN和它的变体已经成为了图表示学习的事实方法。GCN的灵感主要来自最近的深度学习方法,它可能继承了一些不必要的复杂性和冗余计算。在本文中,我们将通过移除连续层中的非线性变换、折叠权重矩阵来减少计算过量的复杂度。我们从理论上分析了所得到的线性模型,并表明它等价于一个固定的低通滤波器(后面有个线性分类器)。模型对大多数下游任务没有负面影响。
1 介绍
GCNs是CNN在图结构数据上的一种变体。GCNs将学习的一阶谱滤波器层堆叠,然后用非线性激活函数来进行图表示学习。在很多地方都取得了很好的效果。
历史上,机器学习的算法有一个清楚的趋势是从简单到(需求驱动)复杂。由于额外的算法复杂度往往使理论分析复杂化并使理解变得模糊,因此通常只在简单方法不能有效解决的应用中引入。可以说,现实中的大多数应用都是线性的,可以直接优化并且容易解释。
但是,图神经网络的发展是直接建立在多层神经网络的基础上,从来不是简单(不充分)线性对应物的扩展。
我们想制造出一个GCNs网络‘之前’的简单的网络结构,具体操作是移除非线性变换、折叠权重矩阵来制造一个线性转换。我们的经验表明,最终的线性模型在各种任务上表现出与GCNs相当甚至更好的性能,同时计算效率更高,拟合的参数明显更少。我们这这个模型叫Simple Graph Convolution(SGC)。
在SGC中的特征提取对应于一个固定的滤波器应用在每个特征维度上。Kipf(频域第三篇)利用重整化技巧(renormalization trick),给图添加自连接,提高了准确性,并且我们证明了这种方法有效减少了图谱域,导致应用在SGC中相当于一个低通滤波器。这种过滤操作会在整个图形中产生局部平滑的特征。
通过对引文和社会网络的节点分类基准数据集的实证评估,我们发现SGC的性能可以与GCN和其他最先进的图神经网络相媲美。在我们评估的最大数据集(Reddit)上,它的速度明显更快,甚至比Fast GCN(Chen等人,2018)高出两个数量级。
2.SGC
定义图,
表示节点,
是对称邻接矩阵
表示节点
和
的边。没有边则
,定义度矩阵
为一对角矩阵,
。
每个节点都由维的隐藏向量表示。
。
表示全部节点的特征。
2.1图卷积网络GCN
初始的输入为(第一层):
一个k层的GCN相当于应用K层MLP对图中的每个节点,每个节点的隐藏表示在每个层的开始处与相邻节点平均。在GCN层中,节点的更新分为三步 1.特征传播2.线性变换3.点态非线性激活
特征传播
对于单个节点来说:
矩阵运算:
是
的度矩阵
每一步都是平滑相邻节点的隐藏表示,并鼓励相邻节点有相似的预测
特征变换与非线性变换
是一个可以学习的权重矩阵
分类
最后应用一个分类器判别类别
2.2SGC
在传统MLP中,更多的层次会增加模型的表现因为它允许特征层次的创建,第二层的特征建立在第一层特征之上。在GCN中,一层有两个作用,在每一层的隐藏表示是从一跳邻居中平均的。这说明第k层可以或者k跳邻居的信息。这与CNN是很像的,更多的层数会增加感受野。
线性化
我们假设非线性激活在GCN层中是不重要的,主要的优点是局部平均,所以移除了非线性变换,最终得到K层的GCN表示为:
再次简化:
我们把这叫做SGC。
逻辑回归
我们通过特征提取和分类
特征提取/平滑:
逻辑回归分类:
优化详细信息
3频谱分析
我们现在从图卷积的角度来研究SGC。我们证明了SGC对应于图谱域上的一个固定滤波器。此外,我们增加了自连接(重整化技巧),有效地缩小了底层的图形频谱。在这个缩放域中,SGC作为一个低通滤波器,在图形上产生平滑的特征,附近的节点往往共享相似的表示,因此也会共享预测。
3.1图卷积的初步研究
频域卷积的三大步(略)
3.2SGC和低通滤波
4相关工作
4.1图神经网络
4.2有关图的其他工作
5.实验和讨论
5.1引文网络与社会网络
5.2下游任务
6结论
为了更好的理解GCN网络的机制,我们提出了简单的图卷积网络SGC,这个算法是不重要的,基于图的预处理步骤,然后是标准的多类logistic回归,但是这个模型的表现是令人惊讶的,在很多任务上都有较为良好的表现。另外,通过预先计算固定特征提取器,训练时间已经非常低了。
从频域角度分析,我们发现SGC详单与在频域领域的低通滤波器。低通滤波器捕获低频信号,这与在图中做平滑一样。我们的分析也提供了对“重整化技巧”的经验推进的洞察,并展示了缩小光谱域如何导致低通型滤波器,从而支撑SGC。
最后,SGC的强大性能给gcn带来了启示。GCNs的表达能力可能主要来自于重复的图传播(SGC保留了这一点),而不是非线性特征提取(SGC没有)。
我们认为SGC应该被重视:
1.作为第一个模型去尝试,尤其是对节点分类任务(可以节省大量的时间)
2.作为一个未来模型的基本对比baseline
3.作为一个图学习的出发点(历史角度)