BERT生成能力改进：分离对话生成和对话理解

©NLP论文解读 原创•作者 | 吴雪梦Shinemon

研究方向 | 计算机视觉

导读说明：

NLP任务大致可以分为NLU（自然语言理解）和NLG（自然语言生成）两种，NLU负责根据上下文去理解当前用户的意图，方便选出下一步候选的行为，确定好行动之后，NLG模块会生成出对齐行动的回复；由于BERT引入Pre-train模块，在NLU任务上有很好的效果，但不适合处理生成任务，因为BERT的预训练过程主要使用的是MLM，和生成任务的目标并不一致。

因此对Bert进行改进，让它更好的兼备NLG能力。此论文是典型的一个BERT改进模型BoB，介绍了如何利用多个BERT模型分离对话生成和对话理解，以更少的角色化对话数据训练，得到比使用全量数据训练的强基线方法更好的效果。

论文解读：

BoB: BERT Over BERT for Training Persona-based Dialogue Models from Limited Personalized Data

论文作者：

宋皓宇，王琰，张开颜，张伟男，刘挺

论文地址：

https://aclanthology.org/2021.acl-long.14.pdf

代码地址：

https://github.com/songhaoyu/BoB

模型亮点：

全新的基于BERT的模型，包含了一个BERT编码器和两个BERT解码器，其中一个解码器用于对话回复生成，另一个则用于角色一致性的理解，将理解能力和生成能力的获取分离开来。

研究背景简述

开放域对话系统需要在对话过程中尽可能地保持一致的人物角色特征，但是在应用上受限于人物角色对话数据的有限规模。在现阶段下，无论是开放域对话生成模型还是开放域对话系统，面临的最大挑战之一就是对话回复的前后不一致。针对这一问题，相关的研究工作开始在对话中明确地引入角色信息[1]。图1展示了基于角色的对话的基本形式。角色信息的引入极大地简化了对话过程一致性的建模，也使得评价过程更容易。