Semantic-Enhanced Explainable Finetuning for Open-Domain Dialogues 论文阅读

Semantic-Enhanced Explainable Finetuning for Open-Domain Dialogues

Problem:

如何在开放域中进行语义控制？

Motivation：

1. 目前在一些任务型对话或者是协商和劝说对话当中，对话流会根据对话的act和策略去进行控制。如何在开放域问答将预训练语言模型和Modular diagram进行结合是这篇文章的主要动机。
2. combine pretrained language models with the modular dialogue paradigm for open-domain dialoguemodeling.

Contribution：

1. 提出了一种面向开放域对话的可控生成方法，主要包括understanding planning and response generation三个部分。
2. 提出了一个带有标注的中文微博数据集，其中那个句子被标注上对应的情感act和相关的主题。（还未开放出来）
3. 实验效果表明我们的方法会超过很强的基本模型，并且具有可控性。

Methods：

1. 首先为了对对话流进行控制，该文章尝试去定义了一些语义变量。比如情感，act，还有对应的topic。
2. 对于系统来说，首先第1件事做的是understanding，因此会根据上文给定的输入对用户的句子去进行理解。获得所定义的语义变量。
3. 第2步是planning，即对应的target sentence包含的语义变量。
4. 第3步生成对应的句子，会利用上对话历史以及定义的语义变量来进行对话生成。

如何将结构化的语义变量融入到模型当中，作者提出是作为一个输入串接在对话历史之后。并且对于不同的语义，会设置不同的标志符。
how to represent structured semantic variables as a sequence

Training

使用BART, Wecompute loss for tokens with a tick above，目标是最大化：（做了三次生成的感觉）

Inference

Understanding Decoding
Set the lengths for thelinearized topical words, emotions, and DAs as 20,10, 10. Greedydecoding is adopted.

Planning Decoding

We set the minimum (maximum) lengths for the linearized topical words,emotions, and DAs as 5 (20), 0 (10), 0 (10), andgreedy decoding is used.

Response Generation Decoding

We use top-k sampling (Fan et al., 2018) and top-p sampling (Holtzman et al., 2020) with temperature τ.

标注

在标注数据集的过程当中，对于情感和act，作者是训练了对应的分类器，用来标注在微博当中收集到的对话语料。对于主题词作者是使用了一个工具包THUCKE，去对主题词进行标注。+人工评测标注结果

Experiments：

1. baseline： Chinese GPT-2 和CDialGPT-2–without using the semantic variables
2. 主实验：

3. 语义级别的回复生成：对生成的句子去计算在，主题这方面的召回率，并且对于意图和情感的分类，我们会对生成的句子进行分解，然后用PLMs，去判断该句子的类别，再和真实类别进行计算。

4. 人工实验：

5. 消融实验：

比较可惜的是这篇文章的作者没有把数据集公开，发邮件也是渺无音讯。

更多有趣文章见：
利用逆向思维的机器阅读理解
证据推理网络
Bert预训练模型-中文文本分类