ICML2019|深度学习鼻祖之一Bengio提出并开源图马尔科夫神经网络

Meng Qu，Yoshua Bengio，Jian Tang

Montreal Institute for Learning Algorithms (MILA), University of Montreal, Canadian Institute for Advanced Research (CIFAR), HEC Montreal

http://proceedings.mlr.press/v97/qu19a/qu19a.pdf

本文主要研究关系数据中的半监督对象分类，该问题在关系数据建模中是比较基本的问题。在基于统计的关系学习（如关系马尔科夫网络）和图神经网络（如图卷积网络）的相关文献中，对该问题进行了广泛的研究。

基于统计的关系学习方法，利用条件随机场能够学习对象标签之间的依赖性，然后进行集体分类，而图神经网络能够进行端到端的训练。这篇文章提出了图马尔科夫神经网络（GMNN），该网络能够结合二者的优势。

GMNN用条件随机场对对象标签的联合分布进行建模，其中条件随机场能够利用变分EM（期望最大）算法进行有效训练。

在 E -Step中，图神经网络能够学到有效的对象表示，该表示能够近似对象标签的后验分布。在 M -Step中，另一个图神经网络用于对局部标签依赖进行建模。

在对象分类、链路分类和无监督节点表示学习上的实验表明，GMNN 取得了最好的结果。

基于条件随机场的方法有一些不足，比如

（1）这些方法通常将条件随机字段中的势函数定义为某些人工设计的特征函数的线性组合，这