ICML2019《GMNN: Graph Markov Neural Networks》 by Meng Qu, Yoshua Bengio, Jian Tang,GNN工作的又一创新,将统计关系学习(SRL)和图神经网络(GNN)结合,该方法适用于图节点分类、节点关系分类,以及无监督的节点表示学习任务。原文地址:https://arxiv.org/abs/1905.06214v1
引言
现实社会的网络中,实体可以被看做一个个的网络节点(在统计关系学习中记作objects/对象,在图中记作节点/nodes),实体的类别可以被看做网络节点的标签(labels),同时每个节点会存在一系列的属性,我们把它们记作features或attributes。当我们为节点做分类任务时,我们通常会以节点的特征为重心,将特征向量送入分类器做训练,但我们同时要考虑两个点:
- 邻居节点同质性:相连的节点类别趋近相同
- 标签依赖关系:某些标签更有可能同时出现。如,篮球和NBA可能会是相邻节点,飞机和牛奶很难产生关系等
传统的关于关系数据建模的方法主要跟从两个工作:统计关系学习SRL(如关系马尔科夫网络等)和图神经网络GNN(如GCN等)。
SRL:统计关系学习,通常利用条件随机场CRF来对节点标签依赖关系进行建模。
- 优点:CRF可以学习到节点标签之间的联合分布。
- 缺点:需要手工定义特征函数进行一系列的线性组合来组成势函数,通常这些特征函数都是启发式的,也就是特征需要人工定义,表达能力有限。再一个,网络中的节点关系结构非常复杂,计算节点标签之间的后验分布十分困难。
GNN: 图神经网络通过非线性的神经元架构来学习到节点的特征表示,整个网络进行端到端的分类,目前的GCN和GAT两个主要模型都达到了非常好的效果。
- 优点:强大的特征表达能力,考虑到网络节点的邻接关系。
- 缺点:忽略了标签之间的依赖关系,训练时将节点标签独立地进行预测。
作者由此提出GMNN:Graph Markov Neural Networks,将两者的优点结合在一起:利用CRF学习标签的联合分布,通过伪似然变分pseudolikelihood variational EM算法进行更新迭代:
- M-step:通过GNN学习节点的特征表示,得到更新后的的参数来最大化pseudolikelihood;
- E-step:对节点标签的局部条件分布进行建模,推断未标注节点的标签。
问题
考虑半监督学习中的一个图G=(V,E,xV),其中V是节点ÿ