马库斯再批深度学习：20年毫无进展，无法处理语言复杂性

https://mp.weixin.qq.com/s/QP_jQ8EvSNYFgmQcfEJ00w

 

 

---

 

  新智元报道  

来源：medium

作者：Gary Marcus  编辑：肖琴

【新智元导读】Gary Marcus再次撰文批判深度学习，这次，他回应了Bengio实验室关于语言理解的研究，认为该研究与他的观点不谋而合，即当前的深度学习技术无法处理语言的复杂性。他强调混合模型，与深度学习相结合。

 

Gary Marcus是纽约大学心理学与神经科学教授，但在AI领域，他更知名的是一直高调参与人工智能辩论。

 

Marcus称自己是“AI contrarian”。什么是“contrarian”？就是专门反对或批评流行观点的人。在AI领域，流行观点就是“深度学习”。

 

今年初，Marcus撰文批判深度学习，与Yann Lecun、AAAI前主席Thomas Dietterich等一众AI研究者展开激辩。

 

在批判深度学习的文章中，Marcus概括了深度学习的十大挑战，直言深度学习本身虽然有用，但它不可能实现通用人工智能。他建议把深度学习视为“一种非普遍的解决方法，而只是一种工具。”

 

他说：“相比纯粹的深度学习，我呼吁混合模型，不仅包括深度学习的监督形式，还包括其他技术，例如符号处理（symbol-manipulation），以及无监督学习（它本身也可能被重新概念化）。我也敦促社区考虑将更多的内在结构纳入AI系统。”

 

近日，Marcus在medium上发表文章《Bengio vs Marcus，以及神经网络语言模型的过去、现在和未来》 ，在这篇文章里，Marcus回应了Bengio实验室最近关于“当前的深度学习技术不足以应对自然语言的复杂性”的研究，认为该研究与他的观点不谋而合。

 

新智元对该文章编译如下：

 

过去

 

长期以来，很多研究人员担心神经网络是否能够有效地泛化（generalize），以捕捉语言的丰富性。这一直是我的工作的一个主题，从20世纪90年代以来就是如此。在我之前，认知科学领域的Fodor，Pylyshyn，Pinker以及Prince等人1988年就提出了非常类似的观点。Brenden Lake和他的合著者在今年早些时候也提出了类似的观点。

 

我在今年一月写了一篇关于这个话题的文章：

 

当可用的训练数据量有限时，或者当测试集与训练集的区别很大时，或者当示例空间非常大且充满新示例时，深度学习系统的表现就不那么好了。鉴于现实世界的局限性，有些问题根本不能被视为分类问题。比如说，开放式的自然语言理解就不应被认为是两个大型有限句子集间的映射，而是一个潜在的无限的输入句子范围和一个同样大的含义范围的映射，而且这里面很多是以前从来没有遇到过的。

 

现在

 

最近，Yoshua Bengio和他实验室的研究人员就写了一篇论文，从神经网络社区内部认同了认知科学界的一群外人（包括我自己）长期以来的观点：当前的深入学习技术实际上无法处理语言的复杂性。

 

这篇论文题为“BabyAI: First Steps Towards Grounded Language Learning With a Human In the Loop”，论文摘要里写道：

 

我们提出了强有力的证据，表明当前的深度学习方法在学习一门具有构式特征（compositional properties）的语言时，缺乏足够的样本效率。

 

 

这是一个非常普遍的问题，然而之前的文献完全没有讨论过。

 

无论如何，我很高兴Bengio的实验室跟我一直以来的观点是一致的，如我在Twitter上说：

 

关于深度学习及其局限性的大新闻：Yoshua Bengio的实验室证实了Marcus在2001年和2018年得出的一个关键结论：深度学习在数据处理方面不够有效，无法应对语言的构式本质。

 

论文地址如下：arxiv.org/abs/1810.08272

 

我的言论经常引起深度学习界许多人的反感。但Bengio回复的一条Facebook帖子引起了我的注意，他说：

 

这里的结论似乎有些迷惑性。根据我们的实验，我们是说目前的DL+RL在学习理解构式语言所需的样本复杂性方面还不能令人满意。但这与Gary的结论大不相同，因为我们相信我们可以继续取得进步，并在现有的深度学习和强化学习的科学基础上进行扩展。Gary明确地认为“深度学习的数据效率不足以处理语言的构式本质”，而我们认为当前的DL技术还可以增强，可以更好地应付的构式，这是系统泛化所必须的。这正是我们正在进行的研究，可以参考我的论文“The Consciousness Prior”。（https://arxiv.org/abs/1709.08568）

 

实际上，Bengio的意思是：我们还没有到达那个技术水平。

 

也许是这个意思。话又说回来，也许不是这个意思。也许深度学习就是永远无法让我们达成目标。我们至少需要考虑这种可能性。

 

20年前，我首次提出了这个观点——从反向传播工作的方式出发提的。在那时，出现了很多关于未知机制和未来成功的承诺。

 

这些承诺至今仍未兑现——20年过去了。投入进这些研究的资金达数十亿美元，而深度学习在语义合成性（compositionality）方面没有取得任何显著的进展。

 

在过去20年里唯一真正改变的是，神经网络社区终于开始注意到这个问题了。

 

未来

 

Bengio和我在很多方面都有共识。我们都认为现有的模型不会取得成功。我们都同意深度学习必须增强（augmented）。

 

然而问题是，增强是什么呢。

 

Bengio可以自由地阐述他的观点。

 

我的观点与我过去20年来的预测毫无二致：深度学习必须增强，借鉴经典符号系统的一些操作，也就是说我们需要混合模型，充分利用最好的经典AI（允许显式地表示阶级性结构和抽象的规则），并将其与深度学习的优势相结合。

 

许多（不是所有）神经网络的拥护者都试图避免在他们的网络中添加这样的东西。这并不是不可能的；这是普遍观念的问题。当然，仅靠深度学习目前还无法解决这个问题。也许是时候尝试别的方法了。

 

我不认为深度学习无法在自然理解方面发挥作用，只是我认为深度学习本身无法成功。

 

我的预测不变：如果没有固有的组合性工具来表示规则和结构化表示，语言理解的神经网络模型仍然几乎无法取得进展。

 

原文：

https://medium.com/@GaryMarcus/bengio-v-marcus-and-the-past-present-and-future-of-neural-network-models-of-language-b4f795ff352b