Relational inductive biases, deep learning, and graph networks 论文导读，DeepMind图网络

Relational inductive biases, deep learning, and graph networks 论文导读

标题：《关系归纳偏好、深度学习和图网络》

 

一、推荐理由

简述：DeepMind联合谷歌大脑、MIT等机构的27位作者发表重磅论文，提出“图网络”（Graph network, GN）。

    DeepMind作为行业标杆，其动向一直是AI业界的关注热点。最近，DeepMind将对“关系”产生了兴趣， 6月以来接连分布多篇“关系”主题的论文，比如：

• 《关系归纳偏置》（Relational inductive bias for physical construction in humans and machines）
• 《关系深度强化学习》（Relational Deep Reinforcement Learning）
• 《关系RNN》（Relational Recurrent Neural Networks）

    而其中，最值得看的将要属这一篇《Relational inductive biases, deep learning, and graph networks》（《关系归纳偏好、深度学习和图网络》），此论文一出，引发业界的广泛讨论，普遍认为其有可能解决灵奖得主Judea Pearl指出的深度学习无法做因果推理的核心问题。

图灵奖得主、贝叶斯网络之父Judea Pearl （PS：Judea Pearl在ArXiv上发布论文《机器学习理论障碍与因果革命七大火花》，指出当前的机器学习系统几乎完全以统计学或盲模型的方式运行，不能作为强AI的基础。他认为突破口在于“因果革命”，借鉴结构性的因果推理模型，能对自动化推理做出独特贡献。）

 

   根据ICLR 2019会议论文主题的热度排行榜（参考ICLR热点排行榜），图网络模型中的图神经网络（Graph neural network, GNN）排名为31，但是相比于2018年热度明显增大。

    因此，趁着还不太挤，大家赶快搭上“图网络”通向“人类智能”的早班车，迎接下一个十年风口。

 

二、论文简读

1. 论文主题

    作者认为目前的深度学习模型不能发展“人类智能”的主要原因是缺乏“归纳推广”能力；基于此，作者将图（比如知识图谱）与深度学习结合，继而提出图网络，图网络具备图的归纳推广能力与较强的关系归纳偏好，也具备深度学习“端到端”的样本灵活性。

    作者写这篇论文的主要目的是建议大家关注图网络模型，同时为图网络模型设计统一框架，引导图网络发展方向。

 

2. 论文结构

    The following is part position paper, part review, and part unification. 

    如原文所说，论文主要分为三部分，一部分是建议书，建议大家关注图网络模型；一部分是综述，综述现有的图网络模型；还有一部分是统一定义，为图网络模型定义了统一的框架与算法流程。

    如果赶时间，可以直接阅读本文的第三部分：问题解决办法，或者论文的第3节：Grap