人工智能的下一个进步：符号和神经网络方法的结合

【文献阅读：The third AI summer: AAAI Robert S. Engelmore Memorial Lecture】
【作者：Henry A. Kautz. Department of Computer Science, University of Rochester, Rochester, NY, USA】
【仅翻译阅读】

介绍
本文总结了作者在2020年2月10日举行的第34届AAAI人工智能会议上发表的罗伯特·s·恩格尔莫尔纪念演讲。它探索了人工智能历史上反复出现的主题，来自人工智能的真实和想象的危险，以及该领域的未来。我们现在正处于人工智能的第三个夏天，这是一个科学快速进步、广泛商业化和繁荣——也许是非理性繁荣——关于我们解开一般智慧秘密的潜力。在人工智能领域之前曾两次经历过这样的时期，之后都出现了商业化崩溃和政府对研究投资大幅削减的冬天。在这篇文章中，我认为，尽管有这种周期性的历史，但持久的见解每年夏天都开花发展。冬天可以被看作是通过新思想和旧思想的综合而推进的沉思和融合的时代。我还想说，我们可能正处于周期性模式的尽头；虽然进步和繁荣可能会放缓，但有科学和实际的理由认为，第三个冬天不太可能发生。

。。。。。。。。。。。。中间部分省略。。。。。。。。。。。。。。。。

PART III: FUTURE OF AI
最后，我们来到了文章的水晶球凝视部分：人工智能的下一个重大科学进步将是什么？加里·马库斯和厄尼·戴维斯最近出版的书《重新启动人工智能》（马库斯和戴维斯，2019年）认为，占主导地位的人工神经网络方法已经达到了一个平台，因为人类层面的人工智能需要符号推理。在主张回归集中于符号推理的研究，这让人想起第二个人工智能夏季的繁荣之后，他们最终得出结论，人工智能的下一个进步实际上将是符号和神经网络方法的结合。虽然这本书听起来像是作者在打一场孤独的战斗，但实际上，他们与深度学习研究人员一致同意，理解如何结合神经和符号方法的必要性。一面刻着“神经象征性推理”的横幅可以飞越人工智能的所有隐喻性军队。
然而，就像生活的这么多一样，细节在于细节：这样一个混合人工智能系统的架构到底是什么？我们将简要调查六种可能的设计；对于每一种设计，我都创造了一个名字，旨在捕捉它的本质。
(1) Symbolic Neuro symbolic是目前用于自然语言处理的深度学习SOP（标准操作程序）（图10）。具有符号意义的输入在语言的情况下，单词序列通过单词2vec、GloVe或类似的词转换为向量（Mikolov等人，2013；彭宁顿、索切尔和曼宁2014），并传递给神经网络。网络的输出单元通过softmax操作将上一层转换为符号类别或符号序列。

(2) Symbolic[Neuro] 架构在一个符号问题解决方案器中使用了一个神经模式识别子例程（图11）。AlphaGo是该设计的一个典型例子（Silleretal.2016）。该问题的解决器是蒙特卡罗树搜索算法Coulom（2006），它的启发式评估函数是一个神经网络。大多数机器人和自动驾驶汽车都是Symbolic[Neuro]系统。

(3) 在一个Neuro |Symbolic系统中，神经网络将非符号输入，如图像的像素，转换为符号数据结构，然后由符号推理系统进行处理（图12）。在神经符号概念学习者（Mao et al. 2019）中，符号推理系统提供了一个反馈信号，用于训练神经网络。如果你逆时针旋转神经|符号90◦，你会看到它类似于Symbolic[Neuro]；它们的不同之处在于神经部分是协程而不是子程序。
(4) Neuro: Symbolic → Neuro方法使用SOP架构，但采用了基于符号规则的特殊训练机制（图13）。一个显著的例子是兰普尔和查顿（2020年）执行符号数学的例子。他们训练了一个转换器序列，以输入输出对（A，B）的深度学习系统，其中数学表达式a可以简化为表达式B。经过训练，给定一个以前未见过的表达式，系统通常可以正确地简化它。请注意，神经网络并没有一步一步地推导；相反，它彻底地吸收了自己的教训，可以简单地猜出正确的答案。

(5)一个Neuro_{Symbolic} 体系结构将符号规则转换为神经网络内结构的模板（图14）。张量乘积表示（Smolensky et al. 2016）和逻辑张量网络（塞拉菲尼、多纳德洛和Garcez 2017）已被证明用于在网络中构建抽象和部分层次结构。据我所知，这种方法还没有被探索为编码分离规则，以使组合规则。

(6)我们最终找到了神经符号推理的方法，我认为这种方法最有潜力结合基于逻辑和基于神经的人工智能的优势，即Neuro[Symbolic] 架构（图15）。其基本思想是在神经引擎中嵌入一个符号推理引擎，目的是实现超神经推理和组合推理。该架构基于丹尼尔·卡内曼的“快速和缓慢思考”（2011）理论，该理论指出，大脑实现了两种不同的推理机制。系统1自动和快速地运行，很少或没有努力，没有自愿控制感，并基于相似性。例如，你看到一个男人皱着眉头，得出他生气的结论，因为他的表情与你在过去看到过的愤怒的人脸上的表情相似。这个结论可能是错误的，例如，他可能因为假牙有问题而皱着眉头，但是系统适用适合99%的日常推理。相比之下，系统2则将注意力分配到了努力进行的心理活动上。你有意识地、经常痛苦地通过选择和想象的结果。人们在系统2的推理过程中犯错误，不是因为潜在的思维规则不健全，而是因为人类的大脑设计得做得很糟糕。我们忽略了可能的选择，并错误地计算了概率。如果需要十几个左右的推理步骤，我们几乎肯定会迷路。

系统1和系统2的特性与人工神经网络的人工智能方法和人工智能的逻辑方法非常相似。注意，即使在执行系统2时，系统1最终负责；系统1决定何时启动系统2。选择名称Neuro[符号学]来表示符号子系统是主要神经系统的一个子程序。体系结构的自然实例化是一个强化学习代理，它在其动作集合中包括启动系统2执行。它还可能会监视系统2的时间和计算资源使用情况，并在资源使用过多时终止它。系统1如何将要解决的问题的描述发送给系统2，以及系统2如何将其答案返回给系统1？由于系统2用于符号结构，所以系统1必须生成任务的内部符号表示。在《重新思考意识》中，心理学家格拉齐亚诺（2019）假设有一种认知机制被称为注意模式8，通过这种机制，大脑产生了它所思考什么的象征性表征。因此，启动系统2的系统1动作必须首先用手头任务的符号表示来填充注意模式。生成这样的内部符号结构可能会使用与在自然语言模型中用于生成句子的相同类型的人工神经网络结构。符号推理子系统的输出可以被反馈到神经网络中，就像在一个深度学习系统输入自然语言一样，换句话说，就是“脑袋里的一个小声音”。另一种反馈机制是通过系统2的输出来修改系统1的预感受场，如图14所示。该体系结构可以推广到包括许多不同的专门的符号推理子系统，如A*状态空间搜索、约束满足、数值和符号数学，以及一阶定理证明。这样的子系统可以比人类的系统2推理要强大得多。例如，Heule、库尔曼和Marek（2016）使用了DPLL布尔可满足性算法的一个版本来解决一个需要200tb证明的毕达哥拉斯三重问题。没有人能创造出这样的证据。

阅读思考：
两套系统类似于人类的感性思考和理性思考。感性思考依赖于直观的历史数据（经历），理性思考依赖于总结的知识（经验）。