纽约大学Gary Marcus发文指出AlphaZero「被夸大」，强调重视人工智能「先天因素」

图：pixabay

原文来源：arXiv

作者：Gary Marcus

「雷克世界」编译：嗯~是阿童木呀

导读：纽约大学Gary Marcus教授一直是深度学习的反对者，他认为深度学习并没有主动学习能力，且鲁棒性较差。同时，他始终认为人工智能应该多在“先天结构”领域中开展研究。最近，Gary Marcus教授发文，他认为AlphaGo及其后代被严重夸大了，人工智能领域需要关注“天赋（innateness）”这样的概念。

一般来说，在人工智能环境中我们很少讨论关于“天赋（innateness）”的概念。一旦对其进行讨论时，往往是试图减少给定系统中的先天性机器（innate machinery）的数量。在本文中，我将Silver等人最近发表关于AlphaGo及其后代的一系列论文视为一个测试案例，这些论文被认为是“即使在最具挑战性的领域：仍然可以在没有人类的示例或指导下进行训练从而达到超越人类的水平”，“从零开始（starting tabula rasa）”的论据。

我认为这些说法有些夸夸其谈，原因有很多。我认为在人工智能领域中应该关注关于天赋这样概念，并且，我提出了一些关于天赋应该是怎样的观点和看法。

一个关于机器时代的古老辩论

思想史上最古老的辩论之一就是围绕着“天赋”概念展开的。人类的思维有多少是内在的，又有多少是由经验构建而成的？柏拉图是先天论主义的首批倡导者之一，在他与Meno的对话中，他辩称一个奴隶男孩有几何知识，尽管他未曾接受过任何正式的训练。在现代，Noam Chomsky也许是最为著名的拥护先天论主义的学者，他认为人类儿童不可能以（几乎）普遍的方式获得人类语言，除非他们天生就有一种“语言习得机制”（Chomsky于 1965年提出）。或者是Pinker将其称之为的“语言本能”。相比之下，诸如Locke这样的经验主义者、后现代发展心理学家Elizabeth Bates以及认知科学家Jeff Elman，则提出一种近似于“空白板”或tabula rasa的观点，认为我们的知识来自于经验，是通过感官传递的。

而几乎所有的现代观察学者都会认为基因与经验实协同工作的，是“先天与后天”，而不是“先天VS后天”。例如，没有任何一个先天论主义者会怀疑，我们天生就具有一种特定的生物机制可以让我们进行学习。Chomsky的语言习得机制应该被看作是一种先天的学习机制，而像Pinker、Peter Marler（以及我自己这样的先天论主义者持有的是这样一种观点，即认为生物天生的装备不是由具体知识而是由学习机制构成的，这是一种使学习成为可能的天赋。

正如下面所描述的那样，我们有足够的理由相信，人类和许多其他生物天生具有大量的先天机制。当前论文的指导性问题在于人工智能系统是否应该类似地被赋予大量的先天机制，或者最近开发的强大的学习系统是否应该被赋予先天机制，从而使得这些系统能够以自上而下或从零开始的方式进行学习。

自然生物的天赋

一篇关于自然生物学（本文作者于2004年所著）的书评中，我对所谓的“prewiring”和“rewiring”进行了基本的区分，并提出这两个过程的生物学证据是具有压倒性意义的。

可以这样说，大约超过90％的基因是在大脑发育中得以进行表达的，其中有相当一部分基因是进行有选择性的表达，即使在没有经验的情况下，也可以使大脑进行自我组装，甚至能够达到某种不平凡的程度。细胞分裂、细胞分化、细胞迁移、细胞死亡和轴突导向等机制结合起来，形成了人类大脑的一份丰富的草稿，即使这是在先于经验也可以进行该过程。即使没有突触传递，能够将经验传递给大脑的主要机制，新生大脑的基本结构也能够得以保留下来。

机器的天赋

人们可能会把认知看作是具有四个变量的函数：

 

其中a =先天性算法（无论是特定领域还是通用领域），r =先天性表征格式（同样是特定领域或其他），k =先天知识（也是特定领域或其他），e =经验。也就是说，对于给定智能体（生物性或人工性）来说，他们的认知是一个关于其先天性算法先天性表征形式、先天性知识和经验的函数。

一个真正的“空白状态”应该是将k和r设置为零，将a设置为一个极小的值（例如，一个用于调整相对于强化信号权重的操作），而将其余部分留给经验。这基本上就是Locke（1964）所阐述的观点。

所有的想法都来自于感觉或反思。

那么，让我们假设，正如我们所说，思维就像一张白纸一样，所有字符都是无效的，且没有任何想法。

它是如何提供的？ ....

从哪里获得有关理性和知识的所有材料？

对此，我将用一个词进行回答：经验。

深度学习的先驱YannLeCun似乎也相信a，r和k应该接近零，正如他在2017年10月5日在纽约大学与我一起辩论时所阐述的那样。特别是，在我自己的评论中，我提出了一个个人认为对AI来说很重要的十个候选元素的清单，主要是在代表性方面。当主持人David Chalmers对列表进行质疑时，LeCun以John Locke的精神强化了经验主义的观点，认为这10个要素中没有一个对人工智能系统来说是先天性的，（他也没有提出任何其他建议。）

DeepMind是如何构建他们的研究结果，以及它们该如何进行解释

DeepMind在2017年的《自然》论文中将其研究结果作为一个强有力的经验主义观点的具有含蓄性、有时明确性的论据。他们将这种强烈的反先天论的框架置于论文标题，以表明他们已经证明“在没有人类知识的前提下就可以掌握围棋游戏”。摘要也具有类似的声称，他们提出的系统通过“从零开始”取得了无可置疑且令人印象深刻的结果。结论报告指出，该论文已经证明：“即使在最具挑战性的领域中，纯粹的强化学习方法也是完全可行的：在没有人类示例或指导的情况下，即使没有给出超过领域内基本规则知识，也可以对其进行训以达到超越人类的水平”，反复在重申一点，即系统能够“从零开始”做到这一切。

在AI中进行的两种方法

如果想要识别出人工智能可能需要多少“天赋”，我们可以通过这样一种方法，即创建一个用以完成艰难任务的合成性智能体，它需要具有一定的初始天赋，用这些任务获得最先进的性能，然后进行迭代，尽可能多地降低这种天赋，最终将其聚在一些（推定的）最小数量的先天性机制上。在AlphaStar系列文章中，DeepMind基本上遵循了这个策略。

有人可能把这个战略称为“还原”策略，其目标是通过尽可能少（减少的）的系列先天性机制取得成功。Demis Hassabis2017年在NIPS上的演讲或许是我所见过的有关还原策略的最好示例。

但是，这是正确的策略吗？我看到两个问题。首先，一组较小的先天性原语并非本质上就是好的，例如，生物有机体有时可能建立在原则上可以被学习的机器中，也许是因为如果某些信息是固有的，而不是通过个人的，可能威胁生命的样本中获得的，则有机体所面临的风险较小。一个机器人可以通过经验学习如何走路，但是如果该机器人从工厂出来时已经具有能够走路的能力岂不是更好？如果你是一只刚出生的、身处悬崖边的野生山羊，那么，相较于一个具有需要大量生命威胁经验的“塑料生物系统”来说，你所具有的更小的但是更有针对性的先天性先验可能会使你强大的“生存力”。或者，就像生物学中常见的情况一样，当我们的运动系统部分浸入水中时，它可能会促使我们出于本能而奋力挣扎。然后，在交替的过程中，先天性先验将通过经验来进行校准。这样的系统可能比以任何完全不受约束的方式进行学习的分裂系统更具有鲁棒性。正如Brad Wyble在一封电子邮件中指出的那样，“在为一个给定的有机体指定先天性水平，以适应于从出生时便具有的要求方面，进化显然具有极大的灵活性”。

问题本身从来不是先天论主义，而总是：对于一个特定的情况，多少是最佳的？

其次，有一个方法论上的问题，如果还原策略能成功地找到一组较小的适合于狭窄类型任务的先天性机制，那么就不能自然而然地得出结论：相同的机制就足以应付所有的任务。所有你能够进行合理断定的是，这个机制对于这个类别中的其他任务来说可能是足够的，而随着距离核心案例的距离越来越大，其效率也会越来越差。AlphaZero在围棋、象棋和Shoji上的成功表明，它的机制可能足以在完美性知识、双人、零和、确定性和离散游戏上实现超越人类水平的性能表现。但这些机制可能不足以满足一些其他的游戏，更不用说一般的认知性任务了。

两种方法都有其优点。目前论文的着重点在于，一方面这个问题很难解决，另一方面，在机器学习领域，这两种方法之间的平衡已经被严重扭曲了。因此，对于AI来说，是时候要认真对待先天论了。

原文链接：https://arxiv.org/ftp/arxiv/papers/1801/1801.05667.pdf

欢迎个人分享，媒体转载请后台回复「转载」获得授权，微信搜索「ROBO_AI」关注公众号

中国人工智能产业创新联盟于2017年6月21日成立，超200家成员共推AI发展，相关动态：

中新网：中国人工智能产业创新联盟成立

ChinaDaily：China forms 1st AI alliance

证券时报：中国人工智能产业创新联盟成立 启动四大工程搭建产业生态“梁柱”

工信部网站：中国人工智能产业创新联盟与贵阳市政府、英特尔签署战略合作备忘录

点击下图加入联盟

下载中国人工智能产业创新联盟入盟申请表

关注“雷克世界”后不要忘记置顶哟

我们还在搜狐新闻、雷克世界官网、腾讯新闻、网易新闻、一点资讯、天天快报、今日头条、雪球财经……

↓↓↓点击阅读原文查看中国人工智能产业创新联盟手册