ChatGPT之后我们要做什么？丨文本生成中的知识和控制

导读

ChatGPT出现后，语言理解与生成质量较之前有显著提升，但在知识性、逻辑性、可控性、可解释性方面仍然存在一些问题。如何让现有的聊天机器人拥有人类对话中丰富的先验知识？如何让生成的回复具有更强的交互性？针对这些问题，青源Talk第33期邀请到来自南京航空航天大学计算机科学与技术学院/人工智能学院的李丕绩教授，带来了题为“文本生成中的知识和控制”的主题分享。智源社区将活动要点整理如下。

李丕绩 

南京航空航天大学计算机科学与技术学院/人工智能学院教授，博士生导师，2021年度南京航空航天大学"长空学者"获得者。香港中文大学博士，曾任腾讯AI Lab自然语言处理中心高级研究员。研究方向主要为自然语言处理，包括预训练模型、文本摘要、文本生成和对话系统。曾经在相关领域顶级会议如ACL、EMNLP、SIGIR等发表学术论文60余篇。多次受邀担任ACL、EMNLP、EACL、IJCAI等会议的领域主席。在工业界工作期间负责了多个语言理解、文本生成和智能对话相关重要项目的算法研发和产品发布，有丰富的科研落地实践经验。主持或参与多项国家自然科学基金、CCF-腾讯犀牛鸟基金等项目。

知识增强的对话生成

共情对话

人类聊天时有丰富的先验知识，能够快速捕捉上下文场景、语义、情感，理解并推理，最终完成对话。但是对一个模型来讲，是通过标注数据结合优化目标去训练，期望仅仅依靠有限的数据集就想达到超越数据集自身的对话效果，小模型非预训练时代是不可能完成的。在传统简单的聊天技术框架下，为了提升知识泛化、情感捕捉、知识和情感推理的能力，我们做了如下的研究工作。

在开展研究工作之前，我们先对公开数据集进行了统计分析，在一个情感对话的数据集上，统计了对话历史与回复中关键信息的重叠，我们发现重叠很少，这说明目前对话历史与回复中联系还是不够，映射比较稀疏。而后我们在对话历史与回复中加入一些额外的知识概念作为桥梁验证下是否将映射边简单。

常识知识与对话历史、回复有边相连，通过加入这个桥梁我们发现可以比较容易得做出对话历史到回复的映射。另外我们还做了多轮对话中情感转移的统计，以验证对话中的情感转移是否有固定的模式。我们基于上面两项统计，提出了Knowledge-aware Empathetic Dialogue Generation(KEMP)框架，来提升对话中知识与情感的能力。我们用到了ConcetNet外部知识库与NRC_VAD情感词典库。最终这个任务定义为：输入是多轮对话历史，ConceptNet与NRC_VAD，输出是知识合理并且共情的回复。我们将对话历史中的概念去ConceptNet中检索补充对话历史，对对话中的每个词我们都有一个情感向量与原来历史对话中的词向量叠加，构建出的情感上下文图输入到Transformer中。我们也设计了回复中情感预