【论文阅读笔记】——GMNN: Graph Markov Neural Networks

ICML2019《GMNN: Graph Markov Neural Networks》 by Meng Qu, Yoshua Bengio, Jian Tang，GNN工作的又一创新，将统计关系学习（SRL）和图神经网络（GNN）结合，该方法适用于图节点分类、节点关系分类，以及无监督的节点表示学习任务。原文地址：https://arxiv.org/abs/1905.06214v1

引言

现实社会的网络中，实体可以被看做一个个的网络节点（在统计关系学习中记作objects/对象，在图中记作节点/nodes），实体的类别可以被看做网络节点的标签（labels），同时每个节点会存在一系列的属性，我们把它们记作features或attributes。当我们为节点做分类任务时，我们通常会以节点的特征为重心，将特征向量送入分类器做训练，但我们同时要考虑两个点：

1. 邻居节点同质性：相连的节点类别趋近相同
2. 标签依赖关系：某些标签更有可能同时出现。如，篮球和NBA可能会是相邻节点，飞机和牛奶很难产生关系等

传统的关于关系数据建模的方法主要跟从两个工作：统计关系学习SRL（如关系马尔科夫网络等）和图神经网络GNN（如GCN等）。

SRL：统计关系学习，通常利用条件随机场CRF来对节点标签依赖关系进行建模。

• 优点：CRF可以学习到节点标签之间的联合分布。
• 缺点：需要手工定义特征函数进行一系列的线性组合来组成势函数，通常这些特征函数都是启发式的，也就是特征需要人工定义，表达能力有限。再一个，网络中的节点关系结构非常复杂，计算节点标签之间的后验分布十分困难。

GNN: 图神经网络通过非线性的神经元架构来学习到节点的特征表示，整个网络进行端到端的分类，目前的GCN和GAT两个主要模型都达到了非常好的效果。

• 优点：强大的特征表达能力，考虑到网络节点的邻接关系。
• 缺点：忽略了标签之间的依赖关系，训练时将节点标签独立地进行预测。

作者由此提出GMNN：Graph Markov Neural Networks，将两者的优点结合在一起：利用CRF学习标签的联合分布，通过伪似然变分pseudolikelihood variational EM算法进行更新迭代：

• M-step：通过GNN学习节点的特征表示，得到更新后的的参数来最大化pseudolikelihood；
• E-step：对节点标签的局部条件分布进行建模，推断未标注节点的标签。

问题

考虑半监督学习中的一个图G=（V,E,