Semi-Supervised Classification with Graph Convolutional Networks

Semi-Supervised Classification with Graph Convolutional Networks, ICLR, 2017

要点：

1、可扩展的半监督学习方法
2、基于卷积神经网络的有效变体，直接对图进行操作
3、通过谱图卷积的局部一阶近似来激励卷积架构的选择
4、在图的边数上进行线性缩放，并学习同时编码局部图结构和节点特征的隐藏层表示
5、在引文网络和知识图谱的数据集上进行了大量实验

引言

1、基于图的半监督学习：在图中对节点进行分类，且标签仅对一部分节点可用。
2、传统方法：标签信息通过一些显示的基于图的正则化，在图上被平滑。比如：在损失函数中使用图拉普拉斯正则化项，但是强依赖于“连接节点共享相同标签“的假设，限制建模能力，除了节点相似性，很难表征额外信息；
3、本文方法：直接使用神经网络模型对图结构进行编码，在有监督的目标损失下对所有已标记节点进行训练，从而避免了损失函数中显式的基于图的正则化，在图的邻接矩阵上对神经网络函数训练，将允许模型分配来自有监督损失的梯度信息，并且能够学习到已标记和未标记节点的表示；
4、工作点：
（1）为直接作用于图的神经网络模型介绍了一种简单且表现良好的分层传播规则，并且展示了如何从谱图卷积的一阶近似中激励这种规则；
（2）演示了这种基于图的卷积神经网络如何用于图中节点快速且可扩展的半监督分类

图上的快速近似卷积 —— 图上的信息传播模型

1、特定的基于图的神经网路的理论激励·
2、谱图卷积
3、分层线性模型

半监督节点分类

1、同时在输入数据和基础图结构的邻接矩阵上调节模型，有效应对邻接矩阵包含输入数据所没有的标签的半监督场景；

相关工作

基于图的半监督学习：

1、某种形式的显示图拉普拉斯正则化：标签传播、流行正则化、深度半监督嵌入
	基于“边连接的节点具有相似性（共享相同的标签）”这一假设，存在局限性
2、图嵌入：受到 Skip-gram，2013模型的启发，
	（1）DeepWalk，2014：通过预测节点的局部邻域来学习嵌入，从图上的随机行走中采样
	（2）LINE，2015 和 node2vec，2016：通过更复杂的随机游走或宽度优先搜索方法扩展了 Deepwalk
	上述方法都需要包括随机行走生成和半监督训练在内的多步骤管道，且每一步都需要单独优化
	（3）plantoid，2016：通过在学习嵌入的过程中注入标签信息

神经网络 on Graphs：

1、传统方法：需要学习节点特定 degree 的权重矩阵，不能扩展到具有宽节点 degree 的大型图
2、本文方法：每层使用一个权重矩阵，并通过适当的邻接矩阵归一化来处理不同节点的 degree
可伸缩性 + 分类性能

模型的限制

1、内存
2、有向边和边特征：当前模型不支持边特征，仅限于无向图
3、假设局部性

图表：

用于半监督分类的多层卷积网络示意图：

1、输入层为C通道
2、输出层为F特征映射
3、标签为Y
4、图结构在层上共享

代码：

https://github.com/nightluo/GCN-py