Gary Marcus再发万字长文，列14个Q&A回应机器学习批判言论

“所有的真理都经历了三个阶段：第一，被嘲笑； 第二，被强烈反对；第三，被不证自明地接受。“Gary Marcus引用叔本华的这段话为自己的另一篇万字长文进行了开篇，以回应他近期面对的“推特上的成千上万条质疑”。

1月初，一直对深度学习持质疑态度的纽约大学教授、人工智能创业者Gary Marcus在arxiv上发布了一篇长文，列举十大理由，质疑深度学习的局限性，在AI学术圈又掀起了一轮波澜。

Gary Marcus文章地址：

https://arxiv.org/ftp/arxiv/papers/1801/1801.00631.pdf

今天凌晨，针对学术圈（推特圈）对这篇文章的质疑（查看大数据文摘相关报道《Marcus十大理由质疑深度学习？LeCun说大部分错了》）， Marcus又发了一篇长文，他总结了这次论战中14个常见的问题，并一一给出答案，来回应各种挑战。

无监督学习更适合哪些领域？

为什么我不会谬赞深度学习？

为什么我最有权讨论这件事？

Gary Marcus是被Uber收购的人工智能初创公司 Geometric Intelligence 的创始人兼CEO，同时是纽约大学心理学及神经科学教授。大数据文摘对这些问题进行了摘要，以下为精华内容：

质疑1. 什么是通用人工智能（general intelligence）？

机器学习的著名教授、迄今为止最佳评论家Thomas Dietterich教授给出了一个很好的答案，我很满意：

“通用人工智能”是一个广泛目标和环境下的智能系统。例如，参见Russell和Norvig的教科书，以及他们对“智能“的定义——“理性行事”。

质疑2. Marcus对深度学习不够友好，他没有提及深度学习的各种成绩，并低估了其他人（的研究）。

上面提到的Dietterich提出了这两点：

@GaryMarcus的文章令人失望。他几乎没有谈到深度学习的成就（如NL翻译），并低估了其成绩（例如有1000个类别的ImageNet依然很有限）。

关于深度学习的成绩，我确实可以说得更多，但我不是没有说，我在第一页提到了深度学习的成就：“自那时以来，深度学习在语音识别，图像识别和语言翻译等领域取得了许多成就，并在当前广泛的AI应用中发挥着重要作用。”

并且，在文章最后我引用了几个文本和博客，提及了很多例子。不过，这些大部分并不算是通用人工智能，这是我的论文的主要论点。 （例如，Google翻译做得很棒，但其并不是通用的，例如，它不能像人类翻译员那样，回答关于翻译内容的问题。）

质疑的第二部分更具实质性。 1,000个类别真的非常有限吗？与认知的灵活性相比，我认为是的。认知科学家通常认为，每个人认知的元素概念大概有5万个数量级，我们可以很容易将这些概念组合，获得更多的复杂想法。

你可以在谷歌图像上搜索的“宠物鱼”，给出的图片还不错；但是，再试一下“佩戴护目镜的宠物鱼”，你会搜到大量带护目镜的狗的图片，误报率超过80％。在辨认狗的种类这种问题上，机器会比人类更强，但是在描述复杂场景的时候，人类更有利。

在我看来，把机器学习问题集中在1000个类别块上，也限制了其解决更开放的问题（比如场景和句子理解）。

质疑3. Marcus说深度学习是无用的，但深度学习对很多问题都很有用。

深度学习当然是有用的，我的观点是：

在目前的监督学习形式下，深度学习可能正在接近其极限，

这些极限将使通用人工智能不能完全实现。

我的结论的核心是这样的：

尽管我勾勒了许多问题，但我不认为我们需要放弃深度学习。

相反，我们需要对其进行重新概念化：不是作为一种普遍的溶剂，而是作为众多工具中的一种。如果深度学习比喻为电动螺丝刀，那么我们还需要锤子、扳手和钳子。

质疑4. Marcus说DL对分层结构不好，但LeCun的《自然》综述中说，其特别适合于这样的层次结构。

阅读原文