人工智能：CNN过时了吗？有人提出GNN

主题：

DeepMind的提议：把传统的贝叶斯因果网络和知识图谱，与深度强化学习融合

一、提出“图网络”

        图灵奖得主Judea Pearl指出的深度学习无法做因果推理的核心问题。

        图灵奖得主、贝叶斯网络之父Judea Pearl，在ArXiv发布了他的论文《机器学习理论障碍与因果革命七大火花》，论述当前机器学习理论局限，并给出来自因果推理的7大启发。Pearl指出，当前的机器学习系统几乎完全以统计学或盲模型的方式运行，不能作为强AI的基础。他认为突破口在于“因果革命”，借鉴结构性的因果推理模型，能对自动化推理做出独特贡献。

        DeepMind联合谷歌大脑、MIT等机构27位作者发表重磅论文，提出“图网络”（Graph network），将端到端学习与归纳推理相结合，有望替换深度学习，克服深度学习无法进行关系推理的问题。

二、AI的学派和成果

        机器学习界有三个主要学派，符号主义（Symbolicism）、连接主义（Connectionism）、行为主义（Actionism）。

• 符号主义的起源，注重研究知识表达和逻辑推理。

        经过几十年的研究，目前这一学派的主要成果，一个是贝叶斯因果网络，另一个是知识图谱。

        贝叶斯因果网络的旗手是 Judea Pearl 教授，2011年的图灵奖获得者。但是据说 2017年 NIPS 学术会议上，老爷子演讲时，听众寥寥。2018年，老爷子出版了一本新书，“The Book of Why”，为因果网络辩护，同时批判深度学习缺乏严谨的逻辑推理过程。而知识图谱主要由搜索引擎公司，包括谷歌、微软、百度推动，目标是把搜索引擎，由关键词匹配，推进到语义匹配。

• 连接主义的起源是仿生学，用数学模型来模仿神经元。

        Marvin Minsky 教授因为对神经元研究的推动，获得了1969年图灵奖。把大量神经元拼装在一起，就形成了深度学习模型，深度学习的旗手是 Geoffrey Hinton 教授。深度学习模型最遭人诟病的缺陷，是不可解释。

• 行为主义把控制论引入机器学习，最著名的成果是强化学习。

        强化学习的旗手是 Richard Sutton 教授。近年来Google DeepMind 研究员，把传统强化学习，与深度学习融合，实现了 AlphaGo，战胜当今世界所有人类围棋高手。

DeepMind 前天发表的这篇论文，提议把传统的贝叶斯因果网络和知识图谱，与深度强化学习融合，并梳理了与这个主题相关的研究进展。

三、DeepMind的技术指向“关系”

        作为行业的标杆，DeepMind的动向一直是AI业界关注的热点。最近，这家世界最顶级的AI实验室似乎是把他们的重点放在了探索“关系”上面，6月份以来，接连发布了好几篇“带关系”的论文，比如：

• 关系归纳偏置（Relational inductive bias for physical construction in humans and machines）
• 关系深度强化学习（Relational Deep Reinforcement Learning）
• 关系RNN（Relational Recurrent Neural Networks）
• 论文比较多，但如果说有哪篇论文最值得看，那么一定选这篇——《关系归纳偏置、深度学习和图网络》。

---

而图网络是操作关系的最佳推手。

四、图网络构成概要

        在论文里，作者探讨了如何在深度学习结构（比如全连接层、卷积层和递归层）中，使用关系归纳偏置（relational inductive biases），促进对实体、对关系，以及对组成它们的规则进行学习。

        他们提出了一个新的AI模块——图网络（graph network），是对以前各种对图进行操作的神经网络方法的推广和扩展。图网络具有强大的关系归纳偏置，为操纵结构化知识和生成结构化行为提供了一个直接的界面。

        作者还讨论了图网络如何支持关系推理和组合泛化，为更复杂、可解释和灵活的推理模式打下基础。