hinton深度学习nature_深度学习来得太晚也太猛，对话2018年度图灵奖三位大佬

最新推荐文章于 2024-08-18 21:17:41 发布

tomorrow-77

最新推荐文章于 2024-08-18 21:17:41 发布

阅读量136

点赞数

文章标签： hinton深度学习nature

选自cacm.acm.org

作者：Leah Hoffmann

机器之心编译

参与：杜伟、shooting

虽然曾经遭受质疑甚至嘲笑，但 2018 年度图灵奖获得者 Geoffrey Hinton、Yann LeCun 和 Yoshua Bengio 一直在他们的研究生涯中不断发展人工神经网络，其研究成果已成为了从搜索到内容过滤等领域不可或缺的组成部分。所以，当前炙手可热的深度学习和人工智能领域究竟怎么样呢？下面，三位人工智能领域的「大佬」将与大家分享一些令人振奋的发现以及依然存在的一些问题。

现在关于人工智能的讨论远多于您刚开始研究生涯的时候——有些您可能听说过，有些可能没有。那么，您希望人们不再问哪些问题呢？

GEOFFREY HINTON：「神经网络只是一场泡沫吗？」以前，人工智能业内人士给出很大的承诺，而这些承诺有时被证明只是一场空谈。但是，神经网络远不止给出承诺那么简单。这项技术确确实实在发挥作用，并且能够缩放。当你提供更多数据和一台运行速度更快的计算机时，神经网络性能会自动提升，而不需要任何人再多写几行代码。

Geoffrey Hinton

YANN LECUN：的确是这样。深度学习的基本理念并没有消失。但当人们问我们，让机器变得更智能的方法是不是只有简单地扩展现有方法时，这的确令人沮丧。我们需要一些新的范式。

YOSHUA BENGIO: 当前技术得益于之前很多年的工业和科学应用累积。比如说，我们三个都是研究者，但常常迫不及待地想要开发更多新技术，因为我们离人类水平的人工智能以及理解自然或人工智能原理的梦想还差得远呢。

Yoshua Bengio

哪些方面没有得到充分讨论？

HINTON：人工神经网络会告诉我们大脑如何工作吗？人们会问这个问题，但问的人还不够多。

BENGIO：是的。不过遗憾的是，虽然深度学习从大脑和认知中汲取灵感，但很多相关领域的工程师目前并不关心这些主题。这也不难理解，因为只要能够把技术应用到工业中，其它东西都仿佛不重要了。但就研究而言，如果我们不能与那些努力理解大脑工作原理的研究人员保持联系，则是一大损失。

Yann LeCun

HINTON：也就是说，神经科学家现在正在认真对待这个问题。多年来，神经科学家一直在说：「人工神经网络与真正的大脑一点也不像，它们并不能告诉我们任何有关大脑如何工作的东西。」但现在，这些神经科学家正在认真考虑大脑中存在反向传播这种东西的可能性，这是一个非常令人兴奋的领域。

LECUN：现在，几乎所有关于人类和动物视觉的研究都使用卷积网络作为标准概念模型。这种情况最近才出现。

HINTON：我认为人工神经网络还会慢慢地对社会科学产生巨大的影响，因为它能够改变我们对人自身的看法。我们过去认为人是理性存在的，并且人的特别之处在于能够借助推理来得出结论。现在，我们对人有了更好的理解，即人基本上是能够做出大量类比的机器。人发展这些表征的过程非常缓慢，之后这些表征决定了人所能做出的类比种类。当然，我们可以做出推理，并且如果没有推理则发展不出数学，但这并不是基本的思考方式。

作为具有开创性研究的学者，您似乎常常不满足自己现有的成绩。

HINTON：在我看来，那些发明了当前标准技术的人虽然会有一些特殊之处，但他们并没有什么天赋异禀，并且还可能存在一些更好的技术。但是，当一个领域已经有了一种标准的做事方式时，那么进入该领域的人不会理解这种标准的做事方法是多么的武断。

BENGIO：有时候，学生在谈论神经网络的时候就好像是在描述《圣经》一样。

LECUN：标准的方法可能会造成教条主义。而且，一些最有创意的想法可能是由年轻人提出来的。

该领域已经取得了一些令人瞩目的进展。20 或者 30 年前，哪些可能发生的事物会让您感到惊讶呢？

LECUN：让我感到惊讶的东西太多了。比如，深度学习革命开始得太晚了，而开始革命后它发展的速度也太快了。我本来希望神经网络的发展更加地循序渐进，但遗憾的是，人们在 20 世纪 90 年代中期到 21 世纪前 10 年中期完全放弃了神经网络。我们有证据表明神经网络之前就发挥过作用。但这一观点被证明之后，神经网络的发展开始变得势不可挡：先是在语音识别领域，然后是图像识别，现在已经扩展到自然语言理解领域了。

HINTON：20 年前，如果有人可以提取一种语言中的句子，将它分割为小的单词片段，然后将其输入一个始于随机连接的神经网络，然后训练这个神经网络，神经网络再将这个句子翻译成另一种语言，而不需要任何语法或语义知识——完全没有运用到语言知识——并且翻译效果比任何其它工具都好。这会让我非常惊讶。虽然这种翻译并不完美，不如双语人才，但它已经在做得越来越好。

LECUN：令我惊讶的还有这些技术应用到很多产业中的速度，也是如此之快。如果现在你从谷歌或 Facebook 中移除深度学习，则两家公司会陷入瘫痪。它们完全是围绕深度学习来构建的。当我加入 Facebook 时，令我感到惊讶的是该公司有一个小组使用卷积网络来研究人脸识别。当时我对卷积网络的第一感觉是它们可能对分类的识别有用：汽车、狗、猫、飞机和桌子，而不适用于人脸等细粒度目标识别。但结果证明卷积网络非常有效，并且现在完全成为了标准。另一件令我感到惊讶的是 Yoshua 实验室中开发的生成对抗网络——人们基本上可以将神经网络作为生成模型使用，以生成图像和声音。

BENGIO：在我攻读博士期间，我曾竭尽全力扩展自己的想法，即神经网络的作用不是仅限于模式识别——将固定大小的向量作为输入并生成类别。但直到最近的翻译研究才让我们摆脱了这种固有认识。正如 Yann 所说，网络生成新事物的能力的确已经出现革命性的变化。所以神经网络有能力操纵任何种类的数据结构，而不仅仅是像素和向量。以传统的观点来看，神经网络只限于执行那些人类可以快速且无意识完成的任务，如目标和图像识别。现代神经网络在本质上有别于我们在 20 世纪 80 年代所以为的那样，这些神经网络现在能做的事情更加接近我们推理以及编程时所做的事情。

尽管已经取得了这么多成就，Yoshua，您曾讨论过促使发展中国家更容易获取神经网络技术的紧迫性。能够谈谈这些吗？

BENGIO：我认为这个问题非常重要。我以前没有考虑太多的政治问题，但机器学习和人工智能已经从大学的象牙塔里走出来了。我认为我们有责任考虑这个问题，并参与到关于人工智能用法的社会和政治讨论中去。其中一个问题是，专业知识和技能、财富和技术将集中在哪里？这些是否由少数国家、少数公司以及一小群人集中掌控？或者是否有方法使人们更容易获取这些？特别是在一些它们能够对更多人产生更大影响的国家。

HINTON：谷歌已经开源了发展神经网络的主要软件，这就是大家所称的 TensorFlow。人们还可以使用特殊的谷歌硬件在云端建立神经网络。所以，谷歌正努力促使更多的人获取并使用这项技术。

LECUN：我认为这是非常重要的一点。深度学习社区在这一方面已经做得很好了。具体而言，在学术界有学术会议公开发表论文和评审，在业界有谷歌和 Facebook 等公司开源其绝大多数自己编写的软件，并为他人提供工具以便他们在这些软件的基础上进一步构建。所以，任何人都可以复现其他人的研究，有时几天内就可以完成。任何顶级研究组织都不可能在任何特定主题上领先其他人几个月。重要的问题是这个领域的整体进展速度有多快。因为对于我们真正想要构建的东西——能够回答任何问题且在现实生活中为我们提供帮助的虚拟助手，我们不仅缺少相关技术，还缺少一些基本的科学原理。我们越快地促使整个研究社区致力于此，则对我们所有人来说越好。