Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension翻译

摘要

在多轮对话中，每一个语句并不总是使用完整上下文的句子，其自然地使理解对话上下文变得更加困难。但是，完全掌握对话上下文并生成合理的响应是必不可少的。因此，在本文中，我们提出通过检测模型回答阅读理解问题的能力来提高响应生成的性能，其中问题只要专注于对话中被省略的信息。受多任务学习方法的启法，我们提出了一个联合框架来统一这两个任务，通过使用相同的编码器来提取公共且任务无关的特征，然后使用不同的解码器来学习特定任务的特征。在编码部分，为了更好的融合问题和对话历史的信息，我们提出通过使用一个memory updater来增强Transformer架构，memory updater旨在选择性地存储和更新历史对话信息，以便支持下游任务。在实验中，我们采用人工标注员来编写和检查大型对话阅读理解数据集，然后在该数据集上进行了广泛的实验。结果表明，该模型在两个任务中的多个强基线上带来了大幅改进。通过这种方式，我们证明推理确实可以有助于更好的响应生成，反之亦然。另外，我们开源了我们的大型数据集以提供研究员进一步的研究。

1.介绍

　　近年来，文本生成取得了令人印象深刻的进步，开放领域的对话生成已成为自然语言处理的研究热点，这是因为其具有广泛的应用前景（例如聊天机器人，虚拟个人助理等）。但研究显示，使用对话系统的用户倾向于使用简洁的语言，这些语言通常省略了先前使用过的语句中所表述的实体或概念。为了做出合适的响应，对话系统必须具备能够理解这些不完整语句的能力。这自然导致需要依赖阅读理解任务，即正确回答需要理解的对话上下文中的问题。
　　例如，参考表1中的示例2，括号中的内容是语句中省略的信息。人类能够根据先前的语句和常识来理解这缺失的信息。例如，$A_3$表示需要将MV而不是礼物发送给$B$。然而，虽然这很重要，模型难以在没有特定设计的情况下捕获语句之间的隐式依赖性，这就是提出阅读理解任务的原因。在这种情况下，通过使用具有关键字$MV$的推理和正确回答问题，模型学习到对话的重点放在MV上，这导致在音乐相关对话中也能做出正确响应。根据Pan et al. (2019) 的调查，为了完全理解当前语句，需要依赖大约60%的历史上下信息。 这启发我们提出了一个多任务框架，该框架能同时生成响应和回答阅读理解问题，这可以同时提高这两个任务的性能。
　　我们的多任务响应生成器（MRG）增强了之前提出的Transformer架构，其能够以基于问题方式编码多个语句。所提出的模型首先使用问题和对话单词之间的cross-attention机制来识别对话中的代表性单词。具体地，我们提出了一个memory updater，它使用当前输入和先前的存储器状态更新存储器。存储器状态可以被解释为能够高度总结对话历史信息的容器。在cross-attention过程中，使用来自前一步骤的存储器状态来增强当前对话表示。然后MRG使用分层内部注意力，首先对每个语句中的不同单词计算注意力，然后在对话历史的所有话语中计算注意力，从而连续学习句子级特征。最后，MRG利用句子级和问题特征来选择问题的答案，同时生成响应单词。
　　由于缺少大规模对话阅读理解数据集，因此我们聘请了一个标注团队来构建对话阅读理解数据集（DRCD）。 具体地，基于 Pan
et al. (2019) 提出的Restoration-200K数据集，其中被省略的单词跨度由人工标注，我们要求标注者在答案是缺失短语的地方写下问题。我们手动构建了10K条数据，然后训练了一个问题生成器并利用模型来构建数据集其余部分的问题。 我们在DRCD上基准测试几种经典对话生成和阅读理解基线。我们还开展了实验，表明所提出的模型在两个任务上对这些基线都带来了大幅的改进。通过这种方式，我们证明推理可以确实有助于更好的响应生成，反之亦然。
　　我们的贡献可以总结如下：

• 我们提出了多任务学习框架，能够回答阅读取理解问题，并在多轮对话场景中生成合适的响应。
• 我们使用memory updater来增强Transformer架构，这有助于选择性地存储和更新历史对话信息。
• 我们开源了一个大规模对话阅读理解数据集。在此数据集上的实验结果展示了我们提出的框架的有效性。

2.相关工作

Multi-turn Dialog。近年来，文本生成取得了令人印象深刻的进步，而多轮对话模型旨在基于历史的信息和语句作为输入来生成响应。通过简单地将多个句子拼接成一个句子，先前的一些工作将多转对话问题简化为单轮问题，并利用基于RNN或Transformer的基本Seq2seq来建模长序列。为了更好地利用多轮中的各语句，Xing et al. (2017) 对单词级和句子级信息应用分层注意力。同时先前工作还提出各种对话数据集。但是，这些数据集都不包含阅读理解任务的问题答案对。
　　Machine Reading Comprehension。机器阅读理解（MRC）重点关注问题和参考文档之间的语义匹配，通过读取完整的文本以选择相关文本跨度，然后推断出答案。Choi et al. (2017) 提出分层由粗到的方法，以模仿人类的阅读模式。Huang et al. (2017) 提出fully-aware fusion的注意力机制，并将其应用于MRC任务。同时，MRC的大型数据集也相应被提出。CommonsenseQA是从ConceptNet中提取的常识问题回答数据集。DROP和COSMOS分别专注于事实理解和常识理解。在本文中，我们提出了另一个MRC数据集，专注于对话语料库的机器理解。
　　Multi-task Learning。多任务学习（MTL）是机器学习中的学习框架，其目标是利用多个相关任务中包含的互补信息来帮助提高这些任务的泛化性能。存在大量的基于多任务学习的自然语言处理任务，例如单词分段，POS，依存解析和文本分类。Collobert
and Weston (2008) 描述了一个单一的卷积网络，该网络联合训练了几个NLP任务，例如词性标注，分块，命名实体识别，语义角色标注。Liu et al. (2015)开发了一个多任务深度神经网络来组合多个领域的分类任务和信息检索任务，以学习多个任务的表示。在这项工作中，我们对对话的响应生成和阅读理解应用多任务学习。

3.问题定义

在提出我们基于对话阅读理解的多任务学习方法之前，我们首先介绍我们的符号和关键概念。
　　我们假设一段对话在两个用户之间进行，而且对话中已经进行了$N^u$轮，所以我们将历史语句表示为$X=(X_1,X_2,...,X_{N^u})$，其中每个语句$X_j$可以被被分解为$X_j=(x_1^j,x_2^j,...,x_{N_j}^j)$，其中$x_i^j$表示一个单词。因此，MRG旨在预测第$(N^{u+1})$个语句，基于历史表达$X$的响应$Y=(y_1,y_2,...,y_{N^y})$的预测概率为：
$$p(Y|X)=\prod _{i=1}^{N^y}p(y_i|X,y_1,...,y_{i-1})\text{\hspace{1em}(1)}$$
除了响应生成，我们还为模型设计了一个问题回答任务。即，在缺少一些关键字的第$N^u$个语句上，有一个问题$Q=(q_1,q_2,...,q_{N^q})$，用以询问这些缺失的信息，而答案是一个从先前的话语中提取的缺失关键字的分数矢量$A=(a_1,a_2,...,a_{N^a})$，$N^a={\sum }_{i=1}^{N^u}{N}_i$。每个分数$a_i\in 0,1$表示是（1）或不是（0）选择第$i$个字。目标是在给定输入$X$的情况下，最大化所有单词标签$A$的概率：
$$p(A|X)=\prod _{i=1}^{N^a}p(a_i|X)\text{\hspace{1em}(2)}$$

4. MRG模型

4.1 Overview

　　在本节中，我们提出了多任务响应生成器，缩写为MRG。MRG的概述如图1所示，可以分为三个主要部分：

• Cross-hierarchical encoder。编码器首先在问题和对话单词之间使用memory-augmented cross-attention机制，以在问题的帮助下识别对话中的代表性单词。然后，它使用分层内部注意力，首先在每个语句中覆盖不同的单词，然后在对话历史中所有语句中，连续学习句子级特征。
• Answer selecter。选择器将问题表示和句子级特征作为输入来预测答案。
• Response generator。生成器通过引入句子级特征来生成响应。

4.2 Cross-hierarchical Encoder

首先，我们使用嵌入矩阵$e$将$X,Q$中的每个单词的one-hot表示映射到高维向量空间。然后，我们使用双向循环神经网络（Bi-RNN）来建模单词之间的序列交互：
$$\begin{array}{c}{h}_i^{x,j}=Bi-RN{N}_x(e(x_i^j),h_{i-1}^{x,j}),\\ h_i^q=Bi-RN{N}_y(e(q_i),h_{i-1}^q)\end{array}\text{\hspace{1em}(3)}$$
其中$h_i^{x,j}$和$h_i^q$分别表示$X_j$和$Q$在Bi-RNN中的第$i$步的隐藏状态。与 (Zhao, Zhao, and Eskenazi 2017; Chen et al. 2018) 相同，我们选择长短期记忆网络（LSTM）作为Bi-RNN的单元。
　　Memory-augmented Cross Attention。该模块通过将问题引入对话上下文中，从而使问题信息融合到对话表示中。具体来说，该模块具有由$L$个相同层组成的栈结构。在每层中，我们通过 Memory-augmented Cross Attention Module (MCAM) 迭代地将来自问题单词的信息融合到对话单词中。为了方便起见，我们第$l$个编码器层的输出作为$m_i^{l,j}$，第一层的输入$m_i^{0,j}$被初始化为$h_i^{x,j}$。具体地说，MCAM基于传统的横向注意力模块（CAM） Transforme架构。我们首先介绍原始 CA，然后再介绍我们的修改。
　　CAM的第一个输入用于作为query $Q$，第二个输入用于key $K$和value $V$，我们分别将其表示为$x_i$和$h_{\ast }^q$：
$$m_i^{l,j}=CAM(m_i^{l-1,j},h_{\ast }^q).\text{\hspace{1em}(4)}$$
每个输出元素$m_i^{l,j}$被计算为输入值线性变换的的加权和：
$$m_i^{l,j}=\sum _{k=1}^{N_j}{\alpha }_{i,k}^{l,j}(h_k^q{W}^V).\text{\hspace{1em}(5)}$$
每个权重系数${\alpha }_{i,k}^{l,j}$使用softmax函数计算：
$${\alpha }_{i,k}^{l,j}=\frac{\exp ({\beta }_{i,k}^{l,j})}{{\sum }_{k=1}^{N_j}exp({\beta }_{i,k}^{l,j})}.\text{\hspace{1em}(6)}$$
${\beta }_{i,k}^{l,j}$是使用两个元素作为输入的兼容函数来计算得到：
$${\beta }_{i,k}^{l,j}=\frac{(m_i^{l-1,j}{W}^Q)(h_k^q{W}^K{)}^T}{\sqrt{d}},\text{\hspace{1em}(7)}$$
其中$d$代表隐藏维度。$W^Q,W^K,W^V\in {\mathbb{R}}^{d\times d}$是参数矩阵。
　　虽然上述vanilla CAM是一种强大的方法，但由于无法充分利用历史对话信息，因而不太适合多轮对话。因此，我们使用一个外部存储器模块增强它，该模块有助于以多槽方式记住和更新历史对话信息，如图1所示。通过memory updator，query的输入，即$m_i^{l-1,j}$被更新为$n_i^{l-1,j}$，然后将其送入等式4中的CAM。具体地，使用多头注意力，memory updator 从其中间隐藏状态${\hat{m}}_i^{l-1}({\hat{m}}^{l-1}\in {\mathbb{R}}^{N_j\times d})$和来自上一层的语句（memory）状态$m_i^{l-1,j}$进行信息聚合。具体地，query Q的输入是$m_i^{l-1,j}$，并且key $K$和value $V$的输入是$[{\hat{m}}_I^{l-1};m_i^{l-1,j}]$。使用前馈层进一步编码memory增强的隐藏状态，然后使用残差连接和层归一化与中间隐藏状态${\hat{m}}^{l-1}$合并。我们将处理过程总结如下：
$$\begin{array}{c}{s}_i^{l-1,j}=CAM(m_i^{l-1,j},{\hat{m}}_i^{l-1}),\\ c_i^{l-1,j}=tanh(W_a^{l-1}{m}_i^{l-1,j}+W_b^{l-1}{s}_i^{l-1,j}),\\ z_i^{l-1}=sigmoid(W_c^{l-1}{m}_i^{l-1,j}+W_d^{l-1}{s}_i^{l-1,j}),\\ n_i^{l-1,j}=(1-z_i^{l-1,j})\odot c_t^{l-1,j}+z_i^{l-1,j}\odot m_i^{l-1,j},\end{array}$$
其中$\odot$表示哈达玛积，$W_a^{l-1}$，$W_b^{l-1}$，$W_c^{l-1}$和$W_d^{l-1}$是可训练的权重，$c_i^{l-1}$是内部单元状态。$z_i^{l-1}$是控制从先前存储器状态保留信息的更新门。
　　Hierarchical Self Attention。在利用问题信息以强调重要的关键字之后，再通过一个分层注意力模块处理$m_i^{L,j}$（上一个MCAM层的输出），以将单词之间的长期依赖编码到隐藏表示。我们分层注意力中的第一级为单独地对每个语句内的单词编码，得到每个语句的固定维度的表示。具体地，单词级注意力模块简化了Transformer中的多头注意力模块（MAM），不过query，key和value采用了相同的输入：
$$h_i^{w,j}=MAM(m_i^{L,j},m_{\ast }^{L,j}).\text{\hspace{1em}(8)}$$
　　然后在每个语句中使用平均池化操作以获得固定长度的语句级表示：
h u ′ , j = m e a n p o o l ( { h 1 w , j , . . . , h N j w , j } ) . (9) h^{u',j}=meanpool\bigg (\{h^{w,j}_1,...,h^{w,j}_{N_j}\}\bigg ).\tag{9} hu′,j=meanpool({h1w,j​,...,hNj​w,j​}).(9)
　　类似于单词级的注意力，我们将语句级MAM应用于平均池化后表示，以融合不同语句之间的信息：
$$h^{u,j}=MAM(h^{u^{\prime },j},h^{u^{\prime },\ast }).\text{\hspace{1em}(10)}$$
　　从语句表示中，我们还可以获取整个对话历史的表示，这些历史表示将在响应解码器部分中使用：
h d = m e a n p o o l ( { h u , 1 , . . . , h u , N u } ) . (11) h^d=meanpool\bigg (\{h^{u,1},...,h^{u,N^u}\}\bigg ).\tag{11} hd=meanpool({hu,1,...,hu,Nu}).(11)

4.3 Answer Selector

从问题和对话上下文中融合信息后，我们需要从上下文中选择单词作为问题的答案。由于我们有若干语句表示，并且通过特定权重加权或平均它们是不合适的。因此，我们将所有语句和问题表示拼接一起，并将多层perceptron应用于它们以生成单词提取概率：
h q = m e a n p o o l ( { h 1 q , . . . , h N q q } ) , A ^ = W f t a n h ( W e [ h u , 1 ; . . . ; h u , N u ; h q ] + b e ) + b f , \begin{array}{cc} h^q=meanpool\bigg (\{h^q_1,...,h^q_{N^q}\}\bigg ),\\ \hat A=W_ftanh\bigg (W_e[h^{u,1};...;h^{u,N^u};h^q]+b^e\bigg )+b^f, \end{array} hq=meanpool({h1q​,...,hNqq​}),A^=Wf​tanh(We​[hu,1;...;hu,Nu;hq]+be)+bf,​
其中$[;]$表示拼接操作。

4.4 Response Generator

为了生成连贯的且包含信息的响应，我们提出了一种基于RNN的解码器，该解码器包含了语句表示的输出，如图1所示。
　　我们首先在输入文档向量表示$h^d$上应用线性变换，并使用该层的输出作为解码器LSTM的初始状态，如公式12所示。为了不增加初始状态$s_0$中压缩文档信息的负担， 我们使用注意力机制动态地将语句表示总结到上下文向量$f_{t-1}$中，我们将在本节稍后描述这些细节。然后，我们将上下文向量$f_{t-1}$拼接到上一步输出的嵌入$e(y_{t-1})$上，并将其送入解码器LSTM中，如公式13所示：
$$s_0=W_g{h}^d+b_g,\text{\hspace{1em}(12)}$$
$$s_t=LSTM(s_{t-1},[f_{t-1};e(y_{t-1})]).\text{\hspace{1em}(13)}$$
　　上下文向量$f_{t-1}$是将对话上下文信息存储在第$t$步中的矢量。具体地说，我们使用解码器状态$s_{t-1}$和每个语句状态$h^{u,i}$计算注意力分布${\gamma }_t$，如公式15所示。然后我们使用注意力分布${\gamma }_t$加权文档状态作为上下文向量$f_{t-1}$。
$${\gamma }_{t-1,i}^{\prime }=W_n^{T}tanh(W_s{s}_{t-1}+W_h{h}^{u,i}),\text{\hspace{1em}(14)}$$
$${\gamma }_{t-1,i}=exp\left({\gamma }_{t-1,i}^{\prime }\right)/\sum _{j=1}^{N_u}exp\left({\gamma }_{t-1,j}^{\prime }\right),\text{\hspace{1em}(15)}$$
$$f_{t-1}=\sum _{i=1}^{N_u}{\gamma }_{t-1,i}{h}^{u,i}.\text{\hspace{1em}(16)}$$
　　最后，应用输出投影层以获取词表中最终的生成分布$P_t^v$，如等式17所示。我们拼接了语句上下文向量$f_t$和解码器LSTM的输出$s_t$作为输出投影层的输入：
$$P_t^v=softmax(W_v[s_t;f_t]+b_v),\text{\hspace{1em}(17)}$$
　　我们使用负对数似然作为损失函数：
$${\mathcal{L}}_g=-su{m}_{t=1}^{N^y}log{P}_t^v(y_t).\text{\hspace{1em}(18)}$$