A Higher-Order Graph Convolutional Layer-NIPS2018-论文笔记

论文题目-,《高阶图卷积层》
是NIPS-2018年的一篇论文
论文链接：
下载地址

1.摘要
目前的图卷积主要有2种，一种是基于空间域的图卷积，一种是基于谱域的图卷积。针对谱域的图卷积，前人是利用傅里叶变换和拉普拉斯近似，将卷积的方法成功的从欧几里得数据推广到图结构数据。然而这种方法过度简化了这种近似。将图卷积表示为一种聚合邻居节点的算子。这个简化限制了模型的学习能力。在本文中作者提出了一种新的图卷积层，它可以混合多个邻接矩阵的信息，准许模型学习到高阶的信息。我们提出的卷积层，表现出和传统卷积层相同的内存需求和运算复杂度。而且在目前流行的数据集上面取得了当前最好的效果。（当然这是2018年的性能效果，但是我觉得目前来说这种方法其实还是有借鉴之处。）
贡献：
1，该卷积层允许聚合多个邻接矩阵的信息，这意味着中心节点能够更好的聚合到更远处节点的信息。
2，该卷积层表现出和传统的图卷积相同的内存需求和运算复杂度。
3，在当前的数据集之下表现出当前最好的效果。

2.背景：
2.1 卷积神经网络
目前的卷积神经网络在计算机视觉的许多领域都取得了很好的性能效果
2.2 图卷积网络
作者提出的图卷积网络是基于welling提出的基于谱域的图卷积，卷积层公式如下：

对于这个公式已经是很熟悉了A是邻接矩阵，A一把就是增加了一个自连接的邻接矩阵，叫做归一化邻接矩阵，H是特征矩阵，如果说是在第零层，那么H就是初始输入的特征矩阵X，然后W是训练的权重矩阵。最外面是一个激励函数。
GCN的几个简单的假设，第一，它是傅里叶基中乘法的二秩近似；第二，假设切比雪夫多项式的两个系数乘以-1；第三是中心节点加上自连接。这一系列的假设，提高了计算效率，并且防止梯度爆炸和弥散。但是第二和第三个近似方法，同时也制约了模型的的学习能力，将卷积限制为一个聚合邻居节点的算子。GraphSAGE提出将均值聚合替换成任意的聚合算子。

2.3半监督节点分类
所谓半监督学习就是提供训练的数据集里面有的样本数据会有标签，有的样本数据会没有标签。然后希望模型学习到一个函数能够尽可能准确的预测样本Y的标签。

3，作者提出的结构
作者提出的结构能够更好的聚合1跳，2跳等邻居节点的信息
作者提出的卷积层的公式如下：

为了更好地理解这个公式。结合图理解。
如图:

左边的是welling提出的传统的图卷积层，右边的是作者提出的新的图卷积层。黄色的是上一层输入的激活矩阵，灰色的矩阵表示输入的邻接矩阵。红色的矩阵表示输出的矩阵。最后训练好的权矩阵是W。在作者提出的新的图卷积层中输入的激活矩阵（就是特征矩阵），分别和三个邻接矩阵相乘，邻接矩阵的一阶，二阶，三阶。然后要注意的是文中作者并不是算的邻接矩阵的幂，而是算的(AH),然后再在左边乘以一个A，然后作者又把权重矩阵W拆分成了3个W1,W2,W3。三个W的连接和原W的大小一样。
为了更好地理解，举个例子就是。

所以接下来就是作者提出的公式了

P表示邻接矩阵幂的集合，例如上面的例子（图）P就是【AH,A^2H,A3H】的集合。j就是代表几次幂，||代表连接操作每一层都包括|P|个 不同的参数矩阵，例如图中就是有W1,W2,W3.

4.实验
作者同时在模拟数据和真实数据集上测试模型的能力。作者生成了4个模拟图数据，如下表(a)，2k-包含2000个节点和4个类，5k-包含5000个节点和10个类。比较GCN模型和在不同配置的情况下本方法的分类准确度，Higher-Order Conv方法表现远远优于GCN。在真实数据集Citeer、Cora和Pubmed上比较模型与其他方法的效果发现，Higher-Order Conv同样得到了state-of-the-art的记录。