论文阅读：UnitedQA A Hybrid Approach for Open Domain Question Answering

最新推荐文章于 2024-11-14 11:02:50 发布

HeroGGC

最新推荐文章于 2024-11-14 11:02:50 发布

阅读量402

点赞数

分类专栏： nlp论文阅读文章标签：机器学习人工智能自然语言处理深度学习 nlp

本文链接：https://blog.csdn.net/Hero19980512/article/details/124432935

版权

论文阅读：UnitedQA A Hybrid Approach for Open Domain Question Answering

来源：ACL 2021

下载地址：https://arxiv.org/pdf/2101.00178.pdf

Abstract

迄今为止，针对开放域 QA 的检索器-阅读器框架下的大多数近期工作都专注于抽取式或生成式阅读器。在本文中，我们研究了一种利用两种模型优势的混合方法。通过结合来自两个阅读器的答案的混合方法可以有效地利用提取和生成答案推理策略，并优于单一模型以及同质集成。

Introduction

我们研究了阅读器的两种模式，即抽取式和生成式阅读器。抽取式阅读器从检索到的段落中提取连续的跨度，而生成式阅读器顺序解码可能不包含在检索到的段落中的答案字符串。如图 1 所示，与仅生成或提取阅读器（左上和右下）之间的预测一致性相比，提取和生成阅读器（左下）之间的交叉预测一致性相对较低（<50%）。这表明这两种模型产生的答案是不同的，它们可以相互补充。因此，我们提出了一种混合阅读器方法，UnitedQA，它是一种简单的集成方法，可以结合来自提取和生成阅读器的预测。
在这里插入图片描述
图 1：成对预测一致性比率。 G-1、G-2、G-3 和 E-1、E-2、E-3 分别是三种不同的生成式和提取式阅读器。所有阅读器在 NaturalQuestions 上的表现都相似（≈ 52% 完全匹配）。红色的一致性较高 (>50%)，灰色的一致性较低 (<50%)。协议是根据精确的字符串匹配计算的。

在 UnitedQA 中，抽取式阅读器 (UnitedQA-E) 和生成式阅读器 (UnitedQA-G) 分别建立在预训练的语言模型 ELECTRA 和 T5 之上。

对于 UnitedQA-E，我们采用弱监督训练目标来解决由启发式标记引起的噪声监督问题，并结合后验微分正则化 (PDR) 来提高模型的鲁棒性。

UnitedQA-G 遵循 T5 Fusion-in-Decoder (FID)。

两个改进：1、在解码器交叉注意力块中添加了一组注意力偏差参数，以表征检索到的上下文的排名信息； 2、增加了对抗性训练来提高模型的泛化能力。

UnitedQA 模型不仅优于每个单一模型，而且比提取或生成阅读器的同质集成有更显着的改进。

Method

UnitedQA 流程：Retrieval（检索）、Reading（阅读）、Re-ranking（重新排序）。

首先，检索模块从维基百科中获取给定问题的相关段落列表。然后，混合阅读器模块从检索到的段落中生成候选答案。最后，重新排序模块将候选答案与线性插值相结合并产生最终答案。

检索参考Karpukhin（2020）。我们考虑了两种方法，BM25 和密集通道检索（DPR），用于检索给定问题的支持段落。对于 BM25，段落被编码为词袋（BOW），并且使用逆文档频率作为排名函数。对于 DPR，段落和问题表示为基于两个 BERT（Devlin 等人，2019）模型的密集向量。然后基于查询和段落向量之间的点生成计算相关性分数。在本文中，采用与 Karpukhin 等人相同的实现用于检索段落。具体来说，使用 2018 年 12 月 20 日的英文维基百科转储作为检索的源文档，并删除了半结构化数据，例如表格或列表。每个文档都被分成不相交的 100 字的段落作为基本检索单元。然后通过阅读得到前 100 个段落。

阅读，我们结合生成阅读器和提取阅读器，在检索到的段落上产生候选答案。

生成阅读器基于 T5 模型。该模型将问题及其相关段落作为输入，然后逐个标记生成答案字符串。具体来说，所有检索到的段落和相应问题的连接被用作编码器输入。然后，解码器通过注意力机制对所有证据的串联进行推理。

抽取式阅读器基于 ELECTRA 模型。该模型将一对给定的问题和一个支持段落被联合编码成神经文本表示。然后使用这些表示来定义可能的答案开始和结束位置的分数或概率，这反过来又用于定义可能的答案范围内的概率。最后，答案字符串概率基于来自整个支持段落集的所有可能答案范围的聚合。

UnitedQA-E

Extractive Reader

给定一个问题 q 和一组 K 个检索到的段落 $p_1,...,p_k$ ，文本编码器产生上下文表示： $h_1^k,...,h_T^k∈\mathbb{R}^n$ 用于“[CLS]question [SEP]passage [SEP]”形式的问题-段落对 $q,p_k)$ ，其中 [CLS] 和 [SEP] 是用于编码输入的特殊标记 , T 是输入文本的最大序列长度， $h_i^k$ 表示 $q,p_k)$ 中第 i 个标记的上下文化嵌入。