图机器学习有多大神力？

转自 | 新智元

编辑 | keyu

近两年，图机器学习可谓是机器学习研究领域的新星，随着模型的更新和应用的推广，越来越多的人开始把注意力转向了这一方向。过去一年中，图机器学习在哪方面有突破呢，在未来的一年中，哪些分支和方向会成为新的研究趋势呢？这篇文章，带你领略该领域诸多名人的最新思考。

2020年，图机器学习成为了机器学习领域中炙手可热的”明星“。

 

不管是刚入门的小白，还是在该领域深耕的专家，都会对该领域的迅速发展有深刻的体验。

 

而此篇文章，就涵盖了图机器学习及其应用领域的大佬们的一些深入思考，其中包括了对2020年的总结，以及对2021年的的展望。

 

在这些人中，有GraphSAGE的作者、GCN的作者，Graph Attention Network的作者等这样的巨佬。

 

他们的观点，又会给我们带来什么引导和启示呢？

 

相关领域和感兴趣的小伙伴们，准备好了吗？

消息传递（Message Passing）

威尔·汉密尔顿(Will Hamilton)，麦吉尔大学(McGill University)助理教授，Mila CIFAR主席，GraphSAGE一书作者表示：

 

“2020年，图机器学习领域开始接受消息传递范式的基本限制。这些限制包括所谓的“瓶颈”问题、过度平滑的问题，以及表征能力方面的理论限制。

 

展望未来，我希望在2021年，我们会寻找图机器学习的下一个大的范式。我不确定到底下一代图机器学习算法的会是什么样子，但是我相信，如果想要进步，那么就需要脱离在2020年之前成主导地位的消息传递机制。

 

此外，我还希望在2021年，也能出现更多的富有更大影响力和更具挑战性的图机器学习应用领域。最近，已经有太多的研究是集中在简单的同质节点分类任务上的。实际上，我更希望在需要更复杂算法推理的任务上看到方法论的进步：比如涉及知识图、强化学习和组合优化的任务。”

算法推理（Algorithmic reasoning）

Petar Veličković是DeepMind的高级研究员，也是图注意网络的作者表示：

“2020年绝对且不可逆转地，将图表示学习转变为了机器学习的‘一等公民’。”

 

今年取得的巨大进步太多了，无法简单列举，但我个人最兴奋的，则是神经算法推理。

 

传统上，神经网络在插值领域是非常强大的，但众所周知，它的推理能力是不充分的。推理的主要特征之一，就是能够在分布之外发挥作用。

 

对于GNN的未来发展，推理任务很可能会占有很重要的地位，不仅因为GNN与这些任务匹配地非常好，还因为许多真实世界中的图任务具有同质性。这意味着最有效的可扩展的方法，通常会以更简洁的GNN框架形式出现。

 

建立在先前如神经图灵器和差分神经计算机之类神经设计的成功上，又经过当前图机器学习工具的普遍应用，2020年的许多工作，探索了神经设计的理论局限性、发明了更加新颖且强大的GNN推理结构、并使神经推理任务的泛化能力得到了大幅提高。

 

我个人最激动的是，经过预训练的算法执行者，可以让我们将经典算法应用于过于原始甚至不适合该算法的输入。例如，我们的XLVIN代理，正是使用了这些概念，即使在底层MDP的具体情况尚不清楚的情况下，也能允许GNN在强化学习中执行值迭代风格的算法。

 

我相信，到2021年，GNN应用于强化学习的时机将成熟。”

关系结构发现（Relational structure discovery）

 

Thomas Kipf是谷歌Brain的研究科学家，也是Graph Convolutional Networks的作者，他表示：

“自从最近基于GNN的模型被广泛采用以来，在图机器学习领域中，一个特别值得注意的趋势是计算结构与数据结构的分离。

 

在最近的ICML研讨会上，我将这种趋势称为关系结构发现。通常，我们设计的是具有固定结构的图神经网络，而固定结构一般是由对应数据集而来，即数据集的节点和边被作为我们模型的计算结构，或者是消息传递结构的黄金标准。

 

在2020年，我们已经看到人们对能够适应计算结构的模型越来越感兴趣，也就是说，它们使用哪些组件作为节点，在哪些节点对上执行消息传递，而不仅仅是简单的基于注意力的模型。

 

2020年，具有影响力的例子包括使用神经关系推理，从时间序列顺序去推断因果图的摊销因果发现（ Amortised Causal Discovery）、具有可学习指针和关系机制的GNN、以及在学习出的推理抽象节点上进行计算的模型。

 

这些发展都具有广泛的意义，因为它们允许我们有效地利用GNN架构在其他领域（(如文本或视频处理) 中提供的对称性(如节点排列等)和归纳偏差(如成对交互函数建模)。

 

展望未来，我希望，我们能够看到在不依赖明确监督的情况下，如何在给定数据和任务的情况下，学习最佳的计算图结构(包括节点和关系)。

 

对这些学习到的结构进行探索，将有助于更好地解释学习到的模型在解决任务时的计算行为，并可能使我们进一步进行类比因果推理。”

表现力（Expressive Power）

Nvidia的研究科学家Haggai Maron，是可证明表达的高维图神经网络的作者，他表示：

 

“图神经网络的表达能力是2020年图机器学习的核心主题之一。

 

有许多优秀的论文讨论了各种GNN架构的表达能力，并展示了当GNN的深度和宽度受到限制时其基本的表达极限，并描述了可以使用GNN进行检测和计数的结构类型。

 

这表明使用固定数量的GNN对许多图形任务没有意义，此外，这些论文还提出了使用迭代GNN学习，来自适应地终止消息传递过程的建议。 

 

在2021年，我很高兴看到在图生成模型的原理方法、图匹配和GNN之间的联系、GNN的表达能力、学习图像和音频等结构化数据的图上的发展和进步，并在GNN领域和研究场景图的计算机视觉领域之间建立更牢固的联系。”

可扩展性 （Scalability）

 

Matthias Fey是多特蒙德工业大学的博士学生，也是PyTorch几何图形和开放图基准测试的开发人员，他表示： 

 

“2020年图机器学习研究中最热门的主题之一，是解决GNN的可扩展性问题。 

 

我们已经看到了许多论文，这些论文简单地将不可训练的传播方案与图形不可知的模块结合在一起，作为前面或后面的处理步骤。这导致了极短的运行时间，并且显著地提高了同构图的性能。”

动态图（Dynamic graphs）

Emanuele Rossi，Twitter的机器学习研究员，帝国理工学院的博士生，也是Temporal Graph Networks的作者，他表示：

“许多有趣的图机器学习应用，本质上都是动态的，其中，图拓扑和属性都会随着时间而演变。

 

社交网络，金融交易网络以及用户项目交互网络就是动态图的例子。之前的大部分时间，对图机器学习的绝大多数研究，都集中在静态图上。尝试处理动态图的工作，主要涉及的则是离散时间动态图。

 

在2020年，我们看到了一系列关于连续时间动态图的更广泛类别的最新研究，这些作品可以被视为定时事件的异步流。

 

此外，动态图模型的第一个有趣的成功应用也开始出现：我们看到了虚假帐户检测，欺诈检测和控制流行病的传播之类的实际用途。 

 

我认为我们还处于持续摸索的状态中，许多有趣的问题仍未得到解答。

 

重要的开放问题包括可扩展性，对动态模型的更好的理论理解，以及在单个框架中结合时间和空间的信息扩散。

 

此外，我们还需要更可靠，更具挑战性的基准，以确保可以更好地评估和跟踪进度。

 

最后，我希望看到动态图神经架构的更多成功应用，特别是在工业界中。”

新硬件（New hardware）

Mark Saroufim是Graphcore的机器学习工程师，他表示：

“在和我曾经合作过的客户中，永远都找不到既没有在生产中部署Graph Neural Network，也没有计划这样做的人。 

 

不使用GNN的部分原因是，忽略了诸如NLP，蛋白质设计或分子特性预测等实际应用中的自然图结构，而选择将数据视为适合现有和完善的机器学习模型（如Transformers）的序列。

 

但是，我们知道，Transformer不过是注意力被用作邻域聚集函数的GNN，其中。在计算中，某些算法获胜的现象不是因为它们非常适合解决特定问题，而是因为它们在现有硬件上运行良好而被称为“硬件福利” ，而在GPU上运行的Transformers就是这种情况。 

 

在Graphcore，我们建立了具有1472个内核的新MIMD体系结构，该体系结构可以并行运行总共8832个程序，我们称为智能处理单元（IPU）。该架构非常适合加速GNN。

 

我们的Poplar软件堆栈，主要利用了稀疏性，将计算图的不同节点分配给不同的核心。对于可容纳IPU 900 MB内存的型号，我们的架构可大大提高GPU的吞吐量。 

 

我很高兴看到我们的客户可以使用我们的架构来进行大量的研究。

 

我希望在2021年，能够看到更多使用我们先进机器学习硬件的研究人员”

 

参考链接：

https://towardsdatascience.com/predictions-and-hopes-for-graph-ml-in-2021-6af2121c3e3d