NeurIPS 2019 图机器学习笔记大全！附笔记原文！

图机器学习在AI会议上热度颇高，但它并不像您想象的那样神秘。Michal Galkin写了篇专门针对图机器学习的笔记。让我们来看看它在NeurIPS 2019有多活跃！

仅在NeurIPS 2019的主会场就有100多个与图形相关的论文发布，并且在3个研讨会上都有它的身影。大会相关内容包括了图形表示学习（约100篇论文），知识表示和推理与机器学习（KR2ML）（约50篇论文），会话式AI 等。在这篇文章中，我们将从以下几个方面探讨图机器学习的发展趋势。

1.双曲图嵌入
2.逻辑与知识图嵌入
3.马尔可夫逻辑网络Strike Back
4.对话式AI和图
5.预训练和理解图神经网络
6.结论

1. 双曲图嵌入
   传统的嵌入算法将学习到的向量放置在可能具有高维数（50-200）的欧几里得“平坦”空间中，其中两个向量之间的距离可以是用欧几里得几何表示。相反，双曲算法采用Poincare球和双曲线空间，被应用于嵌入。双曲嵌入可以更好地对层次结构进行建模，与欧几里得空间相比，它使用更少的尺寸。另一方面，训练优化双曲网络很难。NeurIPS 18提出了几个有关构建双曲神经网络的深入理论研究的论文。在NeurIPS 19我们看到了双曲几何在图形中的应用！

Hyperbolic Graph Convolutional Neural Networks这篇文章中，Chami等人提出了双曲线图卷积神经网络（HGCN），Liu等人提出了双曲线图神经网络（HGNN）。从概念上讲，这两篇论文都旨在通过不同的模型将双曲线空间的优点与GNN的表现力相结合。Chami等人（HGCN）专注于节点分类和链接，与欧几里得方法相比，预测任务实现了令人印象深刻的错误减少率，尤其是在Gromov双曲得分较低的数据集上（即树状图的状态（树为0））。Liu等人（HGNN）强调图分类任务。HGCN和HGNN的参考实现可在GitHub上获得。

Chami等人（是HGCN的作者）在另一篇论文中提出的RotationH是在双曲KG嵌入挑战中的赢家。该模型采用双曲线旋转（概念上有点接近RotatE模型，但后者在复杂空间中起作用）和可学习的曲率。RotationH在WN18RR上实现了新的SOTA，并且在低维度设置中也表现出色，例如32D RotationH可与500D RotatE媲美。令人印象深刻！

2. 逻辑与知识图嵌入

如果您关注Arxiv或AI会议的进行过程，您会注意到，研究者每年都会为我们带来越来越复杂的KG嵌入模型，从而使SOTA数进一步增加。是否有理论上的表达极限或研究什么可以建模，什么不能建模？幸运的是，我们有一些论文可以查询！

Chen从群体理论的角度研究KG嵌入。结果表明，您可以在复杂空间中对Abelian组建模，并证明RotatE（在复杂空间中采用旋转）可以表示任何有限的Abelian组🤕。此外，即使您以前没有学习过，论文也包含对组及其表示的简要介绍。但是，现在在对1-N或N-N关系建模时仍存在差距。然后作者假设如果我们从复空间C移至四元数场H……Zhang等人在NeurIPS 2019提出了QuatE：四元数KG嵌入模型。简而言之，复数具有一个实数和一个虚数，例如a + ib。四元数具有一个实数和三个虚数分量，例如，a + ib + jc + kd比旋转矩阵具有更多的两个自由度，并且在计算上更稳定。QuatE将关系建模为4D（超复杂）空间中的旋转，从而将ComplEx和RotatE概括化。因此，在RotatE中有一个旋转平面，而在QuatE中有两个旋转平面！👀此外，该模型仍保留了对称，反对称和反建模的功能，与RotatE相比，QuatE在FB15k-237上训练所需的自由参数减少了80％。尽管文章没有从群体理论的角度进行分析，但您可以从此介入。

Xie等人提出了LENSR，一种具有语义正则化的逻辑嵌入网络，以通过图卷积网（GCN）将逻辑规则嵌入d-DNNF（决策确定性否定范式）中。

作者专注于命题逻辑（与上述论文中更具表现力的描述逻辑相反），并表明足以将AND和OR的两个正则化组件添加到损失函数，以嵌入此类规则。 给定图像后，将框架应用于视觉关系预测任务🖼您需要预测两个对象之间的正确关系（例如，从最喜欢的Computer Vision CNN管道中获得的边界框）。前5名的准确性从以前的SOTA的84.3％提高到了92.77％！

3. 马尔可夫逻辑网络Strike Back

马尔可夫逻辑网络旨在将一阶逻辑规则与概率图形模型相结合。但是，MLN的直接应用受到可伸缩性和推理过程的计算复杂性的限制。近年来，在神经方法的背景下，改进MLN的数量显着增加。

🔥Qu和Tang提出了pLogicNet：KG推理模型，其中KG嵌入与逻辑规则相结合。使用变分EM算法对模型进行训练（最近的论文中使用EM进行训练和优化也激增了，值得单独撰写）。简而言之，您通过一个MLN定义了KG中三元组的联合分布并为逻辑规则分配一定的权重，并且您已经选择了预训练的KG嵌入（例如，TransE或ComplEx，实际上任何方法都可以）。在E步（推断）中，模型通过使用规则和KG嵌入来查找缺失的三元组，而在M步中，学习规则的权重会根据可见和推断的三元组进行更新。pLogicNet在标准链路预测基准上展示了竞争性结果💪。如果您插入一些精美的KG嵌入模型（例如GNN）会很有趣。

接下来，Marra和Kuželka提出了神经马尔可夫逻辑网络，这是没有明确的一阶逻辑规则但具有神经势函数的MLN的超类，该神经势函数应该在向量空间中对固有规则进行编码。作者还采用了最小-最大熵进行模型优化，这是另一个聪明的方法（但并未广泛使用）。缺点是可扩展性，因为作者报告了相对较小的数据集的实验结果，并将接受挑战作为未来的工作👍

最后，Zhang等人在逻辑推理和概率推理中研究了GNN与MLN的表达方式。他们的分析表明，GNN嵌入能够对KG中的潜在事实进行编码，但无法对MLN中谓词a-la后参数化之间的依赖性进行建模。为了解决这个问题，作者为ExpressGNN体系结构提供了可调嵌入的附加层，这些附加层可对KG中的实体执行分层编码。

4. 对话式AI和图

DSTQA在MultiWOZ 2.0和MultiWOZ 2.1（插槽精度为97％，接头精度为51％）上产生SOTA💪结果，同时与WOZ 2.0的最佳方法（接头精度仍为90 +％）相媲美。在进行了错误分析后发现大多数错误来自地面的实况注释，不幸的是，这些事实经常发生在大型任务中😞。

Neelakantan等人介绍了神经助手，它是一种对话系统的体系结构，该体系考虑了对话历史以及知识库中的事实。作为Transformer体系结构的扩展，该方法首先对会话历史记录中的令牌进行编码。KB包含单词（restaurantX，价格，便宜）之类的三元组（没有像Wikidata这样的花哨的KG模式），并且三元组也由Transformer编码。最终，解码器同时考虑历史和KB事实，以生成输出话语以及可选的下一动作。💡作者没有在所有KB三元组上应用softmax函数（对于任何相当大的KB来说效率都非常低），而是基于地面真实响应中KB中实体的存在来应用弱监督。在MultiWOZ设置中，该架构的性能优于于GNN，在预测动作和涉及的实体方面，F1得分达到90％以上。但是，进一步的分析表明，当您拥有大约1万个实例时，准确性就下降地相当快了，而在3万个实例中存在内存问题。因此，如果您想用7B三元组插入整个Wikidata：好吧，还没有🤕。

使用面向任务的系统时，您需要检索存储在外部数据库中的数据，而这些数据无法保存在内存中。这些可以是例如与SPARQL或Cypher一起使用的图形数据库或经典SQL数据库。对于后一种情况，最近出现了一堆任务，而WikiSQL是最早的任务之一并获得了学术界的关注。现在我们可以说，不到两年的时间，这个数据集就被解决了，神经方法可以达到超人的表现！Hwang等人介绍了SQLova，这是一个语义分析模型，它使用BERT对问题和表头进行编码，以及基于注意力的解码器，可以生成SQL构造（例如SELECTs，WHERE子句，聚合函数等），然后对其进行排名和评估。作者还概述了没有语义解析的蛮力BERT解码的效果要差得多，因此明智地使用语言模型，测试准确性会达到90％（再有一种系统X-SQL的收益率几乎达到92％），而人工测试只显示为88％，而且系统几乎都碰到了注释错误墙（类似于上述MulitWOZ的情况）。

我鼓励您探索更多与NLP相关的论文：Vivona和Hassani提出了一种关系GNN，以解决以WebQuestionsSP为目标数据集的文本和KG上的Question Answering任务。Dash等人的策略是通过预训练的KG嵌入，从文本中同时提取关系并立即对基础KG中的候选对象进行实例检查。该方法可扩展到具有数百万个三元组的KG（对于Common Crawl —具有三百万个以上三元组的DBpedia语料库）。Razumovskaia和Eskenazi研究了如何将规则整合到端对端对话系统及其上下文中，从而使产生的话语更加多样化，例如，如果查询了数据库，您将不会要求提供位置或再次打扰用户。表现最佳的选项将规则与对话上下文一起编码。该方法非常通用，可以与任何响应生成样式的体系结构一起使用👍。

5. 预训练和理解图神经网络

在本部分中，我想指出一些较广义的研究GNN的论文，包括有关GNN模型的可解释性的一些研究。

🔥Hu，Liu等人提出并解释了用于训练GNN的首批框架之一。从概念上讲，它与大量训练语言模型相似，然后在特定任务上对模型进行微调。作者质疑是否有可能对图形应用相同的方法。简短的回答：是的，但是您需要明智地使用它。作者还提供了有关预训练方法的宝贵见解，应该在节点级别（例如，节点分类）和图级别（例如，图分类）上获取结构和领域知识。也就是说，在用于学习结构属性的节点级别上，“上下文预测”任务旨在借助负采样（类似于word2vec训练，对吗？）在嵌入的基础上预测节点的周围环境，而“遮罩”则是通过随机遮罩节点/边缘属性对其进行预测。作者展示了为何聚合组合读取GNN架构（ACR-GNN）最好使用，因为它们允许获得具有置换不变池功能的图形的完整表示。实验表明，仅应用图级有监督的预训练会在下游任务中带来负迁移，因此您需要结合节点级和图级表示形式。这样的组合在40个不同的预测任务中，ROC-AUC得分提高了6-11％。H Hugging Face的优秀人才是否还会提供最佳库来启动预训练的GNN模型😊？

Yun等人提出了用于异构图的Graph Transformer体系结构，即具有多种类型的节点和边的图，通过图变压器网络（GTN）使用1x1卷积来获取元路径（边缘链）的表示形式。这个想法是生成一组任意长度的新元路径（meta-meta-paths？）（由转换器层的数量定义），这些元路径应该编码为下游任务更有价值的信号。实验结果证明，尽管GTN的数量接近图注意力网（GAT），但GTN在节点分类任务上却取得了SOTA结果。

最后，Ying等人完成了解释GNN结果的重要任务，并提出了GNN Explainer —一个与模型无关的框架，可输出解释以预测任何任务上基于图的模型！也就是说，您的节点/图形分类存在问题，例如“图形注意网”，并且您希望看到您的问题的可解释结果-启动GNN Explainer。从概念上讲，GNN Explainer最大化了模型预测与可能的子图结构之间的相互信息，这些子图结构结合了图和节点特征（当然，由于测试所有可能的子图是很棘手的，因此具有巧妙的优化技巧）。作为解释，框架返回了一个子图，该子图具有人类可以轻松解释的最重要的路径和特征。详细情况可以👀看一下本文的补充材料。

6. 结论

作者列举了一系列的文章来证明图机器学习可以在不同的领域中发挥作用，从自然语言处理到强化学习等等。由于NeurIPS会议内容丰富，相信我们会从会议中看到更多令人兴奋的评论和详细的见解。 此外作者相信目前探讨的一些研讨会论文将被即将举行的ICLR 2020 接受。

如何获取笔记？

在会议之眼微信公众号对话框中回复
“nipsgraph”
即可获得~

PS: 后续更多学习资料免费分享！
敬请期待~
会议之眼现已推出小程序
会议之眼plus
查计算机会议信息的一站式工具。会议截稿日期、召开信息、会议等级、您想要的信息这里都有！还等什么，快来体验吧~