人类自然语言理解与推理--Chris Manning教授文章解读

转载自：人类自然语言理解与推理--Chris Manning教授文章解读 - 知乎 (zhihu.com)

论文题目：Human Language Understanding & Reasoning[1]

著名NLP学者斯坦福大学的Chris Manning教授近期在美国人文与科学学院期刊的AI & Society特刊上发表的一篇论文。文章在简单回顾了NLP的历史发展的基础上，分析了预训练的transformer模型何有此威力，探讨了语义和语言理解的本质，进而展望了大模型的未来。现在开始看到通用智能(general intelligence)知识系统的出现。

背景介绍

当科学家考虑人工智能时，他们大多会考虑对单个人脑的功能进行建模或重建。但人类的智力远不止是单个大脑的智力。人类的语言是强大的，对我们这个物种来说是变革性的，因为它为人类群体提供了一种连接人类大脑的方式。一个人可能比我们的近亲黑猩猩聪明不了多少，这些猿类拥有人类类似的许多标志性技能，比如使用工具和计划；此外，它们的短期记忆比人类好。人类发明语言的原因仍然是不明确的，但在地球上生命的漫长进化史中，人类最近的语言经历了难以置信的发展。猴子和猿的共同祖先可以追溯到大约6500万年前；人类与黑猩猩的分离大约是600万年前，而人类的语言通常被认为只有几十万年的历史。一旦人类发展了语言，交流的力量很快导致智人在其他生物中占据优势。人类发展写作的时间要晚得多（仅在五千多年前），这使得知识能够跨时空进行交流。在短短的几千年里，这种信息共享机制将我们从青铜时代带到了今天的智能手机时代。历史文字允许人类可以理性的讨论，信息分布允许复杂社会的文化进化，而且现代技术也强调知识优势。语言的力量是人类社会智能的基础，在人工智能工具增强人类能力的未来世界，语言将继续发挥重要作用。

由于这些原因，自然语言处理（NLP）领域与人工智能的发展同步出现。事实上，关于机器翻译的NLP问题的初步研究(例如1954年著名的Georgetown-IBM演示)，比1956年“人工智能”一词的出现略早。

NLP领域的范式转移

文章先简要回顾了自然语言处理（NLP）的几个阶段，大致如下：

• 第一阶段，发轫于冷战时期1950-1969的机器翻译工作，以现在的观点看数据和计算量都小的可怜，同时没太多语言结构或者机器学习技巧介入。
• 第二阶段，1970-1992的符号主义，为手工构建的，基于规则的系统，如LUNAR，SAM，LIFER，GUS，但也开始对人类语言理解的复杂性方面进行建模使用。有些系统也用于数据库查询等任务。
• 第三阶段，1993-2012的，统计主义，也就是基于语料库的机器学习时代。
• 第四阶段，2013开始一直到现在，深度学习时代。

深度学习本身当然意义巨大，但2018年出现的大规模自监督（self-supervised）神经网络才是真正具有革命性的。这类模型的精髓是从自然语言句子中创造出一些预测任务来，比如预测下一个词或者预测被掩码（遮挡）词或短语。这时，大量高质量文本语料就意味着自动获得了海量的标注数据。让模型从自己的预测错误中学习10亿+次之后，它就慢慢积累很多语言和世界知识，这让模型在问答或者文本分类等更有意义的任务中也取得好的效果。没错，说的就是BERT (Devlin et al, 2019)和GPT-3之类的大规模预训练语言模型，中文世界也常称之为大模型。

大模型有革命性意义

在未标注的海量语料上训练大模型后，通过微调或提示，可以非常容易地进行调整，从而在各种自然语言理解和生成任务中产生强大的结果。大规模预训练模型基本是基于Transformer 架构(Vaswani et al., 2017)，自2018年开始Transformer统治NLP领域。为何预训练的Transformer有如此威力？论文从transformer的基本原理讲起，其中最重要的思想是attention，也就是注意力机制。Attention其实非常简单，就是句子中每个位置的表征是通过其他位置的表征加权求和而得到。Transformer模型通过每个位置的query, key以及value的表征计算来预测被掩码位置的单词，大致过程如下图所示：

Transformer模型

Manning认为通过简单的transformer结构执行如此简单的训练任务之所以能威力巨大的原因：

通用性：预测掩码单词这类任务是如此简单和通用，以至于几乎所有形式的语言学和世界知识，从句子结构、词义引申、基本事实都能帮助这个任务取得更好的效果。因此，大模型也在训练过程中学到了这些信息，这也让单个模型在接收少量的指令后就能解决各种不同的NLP问题。也许，大模型就是“大道至简”的最好诠释。

基于大模型可以完成多种NLP任务，在2018年之前fine-tuning（微调），也就是在少量针对任务构建的有监督数据上继续训练模型。最近则出现了prompt（提示学习）这种形式，只需要对任务用语言描述，或者给几个例子，模型就能很好的执行以前从未训练过的任务.

大模型替代传统流水式范式：传统的NLP是流水线范式，即先做词法（如分词、命名实体识别）处理，再做句法处理（如自动句法分析等），然后再用这些特征进行领域任务（如智能问答、情感分析）。这个范式下，每个模块都是由不同模型完成的，并需要在不同标注数据集上训练。而大模型出现后，就完全代替了流水线模式，比如：

• 机器翻译：用一个模型同时对多语言对进行翻译训练
• 智能问答：基于LPLM微调的模型效果明显提升
• 其他NLU任务如NER、情感分析也是类似
• 自然语言生成 (natural language generation, NLG)：大模型在生成通顺文本上取得了革命性突破，对于这一点玩过GPT-3的同学一定深有体会。

大模型还能用在更为实用的医学影像生成任务上。大模型能在NLP任务上取得优异效果是毋庸置疑的，我们仍然怀疑大模型真的理解语言吗，还是说它们仅仅是鹦鹉学舌？

大模型理解人类语言

要讨论这个问题，涉及到什么是语义，以及语言理解的本质是什么。关于语义，语言学和计算机科学领域的主流理论是指称符号语义(denotational semantics)，是说一个单词短语或句子的语义就是它所指代的客观世界的对象。

与之形成鲜明对比的是，深度学习NLP遵循的分布式语义（distributional semantics），也就是单词的语义可以由其出现的语境所决定。Manning认为两者可以统一起来，语义来自于理解语言形式和其他事物之间的联系网络，无论它们是世界上的物体还是其他语言形式，如果有这样一个紧密的联系网络，那么对语言形式的意义就有了很好的认识。用他的原话来说，就是：

Meaning arises from understanding the network of connections between a linguistic form and other things, whether they be objects in the world or other linguistic forms.

用对语言形式之间的连接来衡量语义的话，现在的大模型对语言的理解已经做的很好了。但目前的局限性在于，这种理解仍然缺乏世界知识，也需要用其他模态的感知来增强，毕竟用语言对图像和声音等的描述，远不如这些信号本身来的直接。这也正是很多大模型的改进方向。

大模型的未来

大模型从自然语言理解任务上的成功，慢慢向数据模态，比如图像、知识、生物信息等方向的拓展具有巨大的前景。在这个方向上，Manning本人也参与提出了近期大火的foundation model（基础模型）的概念。基础模型具有百万以上参数，是通过自监督学习在大规模语料上训练得到的，可以轻松适配到多种下游任务的大模型。BERT和GPT-3就是典型的例子，最近在两个方向上涌现出不少的拓展性工作：

• 大模型连接符号知识，以知识图谱的形式，或实时搜索文本知识的形式进行连接。
• 多模态的基础模型，比如DALL·E模型，这个方向也更激动人心。

基础模型仍然处于早期，但Manning描绘了一个可能的未来：

1. 大多数信息处理和分析任务，甚至机器人控制之类的任务，都将由一个相对较少的基础模型中的一个进行专门化处理。
2. 这些模型训练起来既昂贵又耗时，但适应不同的任务将非常容易；人们可能只需要使用自然语言指令就可以做到这一点。

AI模型收敛到少数几个大模型会带来伦理上的风险。但是大模型这种将海量数据中学来的知识应用到多种多样任务上的能力，在历史上第一次地非常地接近了（通用）AI的目标：对单一的机器模型发出简单的指令就做到各种各样的事情。

这类大模型可能只拥有非常局限的逻辑推理能力，但是大模型的有效性会让它们得到非常广泛的部署，在未来数十年它们会让人们看到更通用的人工智能。

参考

1. ^Human Language Understanding & Reasoning https://nlp.stanford.edu/~manning/papers/Daedalus_Sp22_09_Manning.pdf