论文阅读：Learn to Resolve Conversational Dependency

最新推荐文章于 2024-10-04 22:36:54 发布

小白之比白更白

最新推荐文章于 2024-10-04 22:36:54 发布

阅读量282

点赞数

分类专栏： NLP 文章标签：人工智能对话问答

本文链接：https://blog.csdn.net/weixin_41753316/article/details/120864034

版权

NLP 专栏收录该内容

20 篇文章 1 订阅

订阅专栏

原论文：Learn to Resolve Conversational Dependency: A Consistency Training Framework for Conversational Question Answering
学会解决会话依赖:会话问答一致性训练框架

这是ACL 2021年的论文。

介绍

在这里插入图片描述

会话问答依赖于上下文语义，需要解决指代和省略的问题。
以往的方法有端到端的方法，端到端的很好理解后面可以看图。还有pipeline的方法，这种方法将CQA分解成问题重写QR和问答QA，pipeline方法相当于下面这个式子。这使得QA与历史数据是分离的，因此QA依赖于QR。
在这里插入图片描述

这篇论文的三个贡献：（直接贴翻译吧）

我们确定了以前方法的局限性，并提出了一个统一的框架来解决这些问题。我们的新框架通过引入QR模型改进了QA模型，同时减少了对它们的依赖。
我们的框架鼓励QA模型学习如何通过一致性规范化来解决会话依赖关系。据我们所知，我们的工作是将一致性培训框架应用于CQA任务的第一步。
我们在三个CQA基准上展示了我们的框架的有效性。我们的框架是与模型无关的，并系统地改进了QA模型的性能。

背景

任务描述
这篇论文的任务可以用一个式子来理解，回答是基于一个证据文档d，一系列上文问题q。
在这里插入图片描述

方法

前两种方法对应前面说到的两种，然后这篇论文将两者合起来，然后加入一致性正则。

框架包括两个阶段:
(1)使用QR模型生成自包含的问题
(2)通过一致性正则化将原始的自包含的问题训练成QA模型。

Question Rewriting
QR任务是根据原始问题和对话历史生成一个自包含的问题。这篇文章采用了基于t5的序列生成器(rafael et al.，2020)作为QR模型，它在QR中达到了与人类相当的性能。为了训练和评估QR模型，这篇文章使用了之前QR研究的CANARD数据集(Lin et al.，2020;V akulenko et al.，2020)。在推理过程中，采用基于波束搜索的top-k随机采样译码，并调节softmax的参数。

Consistency Regularization
一致性正则化的目的是为了使模型对于原始问题和自包含问题生成的回答使一样的。同时约束QA对QR的依赖。
在这里插入图片描述
KL()是KL散度，KL散度可以用来衡量两个分布之间的差异。这个式子可以反应重写的自包含问题得到的回答与原问题得到的回答之间的差异。
这样通过一致性正则化鼓励模型将原始问题视为通过引用对话历史而改写成自包含的问题。鼓励QA模型解决会话依赖关系。
在这里插入图片描述
最后的损失包括三个部分，一个是原始问题的一个是自包含问题的，第三个是上面一致性正则化的。