论文浅尝 - ACL2020 | 利用常识知识图对会话流进行显式建模

笔记整理 | 韩振峰，天津大学硕士

---

链接：https://arxiv.org/pdf/1911.02707.pdf

动机

人类对话自然地围绕相关概念发展，并分散到多跳概念。本文提出了一种新的会话生成模型——概念流(ConceptFlow)，它利用常识知识图对会话流进行显式建模。通过将对话建立在概念空间的基础上，ConceptFlow表示潜在的对话流，它沿着常识关系在概念空间中遍历。遍历由概念图中的图注意力引导，向概念空间中更有意义的方向移动，以生成具有更多语义和信息量的响应。在Reddit会话数据集上的实验表明，ConceptFlow的有效性优于以前的知识感知会话模型和基于GPT-2的模型，同时使用的参数减少了70%，证实了显式建模会话结构的优势。

亮点

论文的亮点主要包括：

（1）ConceptFlow利用常识知识图对会话流进行了显式建模，并对所有概念提出了一种新的注意机制来引导潜在概念空间中的会话流。

（2）ConceptFlow的在生成回复的结果优于其他模型的时，其模型参数更少。

（3）设置了丰富的实验对ConceptFlow相关的内容进行探讨，对ConceptFlow的优势给出了令人信服的证据。

概念及模型

为了模拟人类对话中的概念转换，本文提出了概念流(ConceptFlow)，它利用常识知识图来模拟显式概念空间中的对话流。ConceptFlow明确地将对话建模为常识知识图中的遍历:它从基础概念(如“聊天”和“未来”)开始，并通过沿着常识关系跳转到相关概念(如“交谈”和“梦想”)来生成更有意义的对话。概念图中的遍历由图注意机制引导，该机制源自图神经网络以关注更合适的概念。概念流学会沿着常识知识图中更有意义的关系来模拟对话的发展。结果，该模型能够通过从对话话语沿着常识关系跳跃到遥远但有意义的概念来“增长”基础概念；这将引导模型生成更多信息和主题响应。

ConceptFlow具体由三部分构成：概念图构建、编码潜在概念流、使用概念流生成文本。

模型整体框架如下：

概念图构建

假ConceptFlow构建一个概念图G作为每次对话的知识。它从基础概念（零跳概念）开始，这些概念出现在对话话语中，并由实体链接系统进行注释。然后ConceptFlow用一跳概念和两跳概念扩展零跳概念。零跳概念和一跳概念以及它们之