深度学习的未来

本文来自Ben Dickson

深度学习的三名先驱在7月发表在《ACM通信》杂志月刊上的一篇论文中指出，如果没有象征性人工智能的帮助，深度神经网络将克服它们的缺点。

在他们的论文中，Yoshua Bengio、Geoffrey Hinton和Yann LeCun， 解释了当前深度学习面临的挑战，以及它与人类和动物学习的不同。他们还探索了该领域的最新进展，这可能为深度学习研究的未来方向提供蓝图。

这篇名为“人工智能深度学习”的论文设想了一个未来，深度学习模式可以在人类的帮助下学习，灵活应对环境的变化，并可以解决广泛的反射和认知问题。

深度学习的挑战

深度学习通常被用来与人类和动物的大脑相比较。然而，过去的几年已经证明，深度学习模型的主要组成部分人工神经网络，缺乏生物网络的效率、灵活性和多功能性性。

在论文中，Yoshua Bengio、Geoffrey Hinton和Yann LeCun承认了这些缺点。监督学习虽然在各种任务中取得成功，但通常需要大量人类标记的数据。同样地，当强化学习只基于奖励时，它也需要大量的互动。

监督学习是机器学习算法的一个流行的子集，其中有一个模型带有标记的例子，如图像列表及其相应的内容。该模型被训练为在具有相似标签的示例中找到重复出现的模式，然后使用学习的模式将新示例与正确的标签相关联。监督学习对于有标记的例子大量可用的问题特别有用。

强化学习是机器学习的另一个分支，在这个环境中，“代理”学习最大化“奖励”。一个环境可以像触摸板一样简单，人工智能玩家会因为排列三个Xs或Os而得到奖励，或者像城市环境一样复杂，自动驾驶汽车会因为避免碰撞、遵守交通规则和到达目的地而得到奖励。代理从采取随机操作开始。当它从环境中收到反馈时，它会发现一系列提供更好奖励的行动。

在这两种情况下，科学家们都承认，机器学习模型都需要大量的数据训练量。标注数据集很难获得，特别是在没有公共、开源数据集的专业领域，这意味着它们需要人类标注者的艰苦和昂贵的劳动。复杂的强化学习模型需要大量的计算资源来运行大量的训练集，这使得它们可以面向一些非常富有的人工智能实验室和技术公司。

Yoshua Bengio、Geoffrey Hinton和Yann LeCun也承认，目前的深度学习系统可以解决的问题仍然有限。深度学习在专项任务上表现得很好，但“通常在它们训练过的狭窄领域之外很脆弱。”如过图像中一些修改的像素或环境中规则的轻微改变，都会导致深度学习系统误入歧途。

深度学习系统的脆性很大程度上是因为机器学习模型基于“独立和同分布式”。

“从早期开始，机器学习的理论家就开始关注i.i.d.假设……不幸的是，这在现实世界中并不是一个现实的假设，”科学家们写道。

由于不同的因素，现实世界的环境正在不断变化，其中许多如果没有因果模型几乎是不可能表示的。智能系统必须不断观察环境和学习，使其行为适应变化。

“当今最好的人工智能系统从实验室发展到该领域时，往往会受到影响，”科学家们写道。

当应用于计算机视觉和自然语言处理等领域时，i.i.d.假设会变得更加脆弱，在这些领域中，主体必须处理高熵的环境。目前，许多研究人员和公司试图通过训练神经网络来获取更多的数据来克服深度学习的极限，希望更大的数据集将覆盖更广泛的分布，并减少在现实世界中失败的机会。

深度学习 VS混合人工智能

人工智能科学家的最终目标是复制人类所拥有的一般智力，但人类是不会遭受当前深度学习系统所面临的问题。

Yoshua Bengio、Geoffrey Hinton和Yann LeCun在他们的文章中写道：“人类和动物似乎能够学习大量的世界背景知识，很大程度上是通过观察，以一种独立于任务的方式。这种知识是常识的基础，让人类只需几个小时的练习就能学习到复杂的任务，比如开车。”

科学家们还指出，“[H]umans可以以一种比普通i.i.d.不同、更强大的方式进行泛化：即使这些组合在训练分布下极不可能，我们可以正确地解释现有概念的新组合，只要它们尊重已经学到的高级语法和语义模式。”

科学家们提供了各种解决方案来缩小人工智能和人类智能之间的差距。在过去几年中被广泛讨论的一种方法是将神经网络与经典符号系统相结合的混合人工智能。符号操作是人类推理世界能力的一个非常重要的组成部分，这也是深度学习系统面临的巨大挑战之一。

Yoshua Bengio、Geoffrey Hinton和Yann LeCun不相信将神经网络和象征性的人工智能混合在一起。在ACM论文附带的一段视频中，Bengio说，“有些人相信神经网络无法解决一些问题，我们必须求助经典的人工智能，符号方法。但我们的工作表明，情况并非如此。”

深度学习的领导者们相信，更好的神经网络结构最终将影响人类和动物智力的所有方面，包括符号操作、推理、因果推理和常识。

在深度学习方面的潜在进步

在他们的文章中，Yoshua Bengio、Geoffrey Hinton和Yann LeCun强调了深度学习的最新进展，这些帮助在一些深度学习斗争的领域取得了进展。Transformer就是一个例子，这是一种神经网络架构，它一直是OpenAI的GPT-3和谷歌的Meena等语言模型的核心。Transformer的好处之一是他们能够学习，而不需要标记数据。变形金刚可以通过无监督学习来开发表示，然后他们可以应用这些表示来填写不完整句子的空白，或者在收到提示后生成连贯的文本。

最近，研究人员表明，变形金刚也可以应用于计算机视觉任务。当与卷积神经网络相结合时，Transformer可以预测掩蔽区域的内容。

一种更有前途的技术是对比学习，它试图寻找缺失区域的向量表示，而不是预测精确的像素值。这是一种有趣的方法，而且似乎更接近人类的思维方式。当我们看到下面的图像时，我们可能无法想象缺失部分的真实描述，但我们的大脑可以想出一个高水平的表示那些蒙面区域可能发生的东西（例如，门、窗户等）。

推动使神经网络减少对人类标注数据的依赖，符合自我监督学习的讨论，这是LeCun正在研究的一个概念。

这篇文章还提到了诺贝尔奖得主“system 2 deep learning”，这个词借用了诺贝尔奖得主心理学家Daniel Kahneman。system 2解释了大脑需要有意识思维的功能，包括符号操作、推理、多步规划和解决复杂的数学问题。system 2 deep learning仍处于早期阶段，但如果它成为现实，它可以解决神经网络的一些关键问题，包括分布外泛化、因果推理、robust转移学习和符号操作。

科学家们还支持“神经网络”的工作，这些神经网络为物体及其部分分配内在的参考系，并使用几何关系识别物体。这是指“胶囊网络”，这是Hinton过去几年关注的一个研究领域。胶囊网络的目标是将神经网络从检测图像中的特征升级到检测对象的物理属性以及它们之间的层次关系。胶囊网络可以提供“直观物理”的深度学习，这种能力可以让人类和动物理解三维环境。

“关于我们对如何使神经网络真正有效的理解，还有很长的路要走。我们希望会有一些全新的想法，”Hinton称。