论文阅读：End-to-End Training of Neural Retrievers for Open-Domain Question Answering

论文阅读：End-to-End Training of Neural Retrievers for Open-Domain Question Answering

来源：ACL 2021

下载地址：https://arxiv.org/pdf/2101.00408.pdf

代码地址：https: //github.com/NVIDIA/Megatron-LM

本文主要贡献：

• 我们证明了我们提出的使用 ICT 对检索器进行无监督预训练的方法，然后进行监督微调，与之前自然问题和 TriviaQA 数据集上的最佳结果相比，前 20 名检索准确度的绝对增益超过 2 个点。
• 我们表明，当监督数据集较小时，基于掩蔽的显着跨度的检索器预训练更有效。
• 我们的端到端训练方法在检索准确性方面获得了最新的性能。
• 我们在答案提取方面取得了具有竞争力的结果，与 REALM (Guu et al., 2020) 和 RAG (Lewis et al., 2020c) 等最近的模型相比，获得了超过 3 分的收益。
• 我们将端到端训练扩展到大型模型，并显示出持续的性能提升。

Abstract

在这项工作中，我们系统地研究了检索器预训练。 我们首先提出了一种使用逆完形填空任务和掩码显着跨度的无监督预训练方法，然后使用问题-上下文对进行监督微调。探索两种在 OpenQA 模型中对阅读器和检索器组件进行端到端训练的方法，它们在阅读器摄取检索到的文档的方式上有所不同。

Introduction

现阶段大多数OpenQA方法都包含两个阶段。第一阶段，给定一个问题，检索器模块识别最相关的文档，把相关文档排序。第二阶段，将这些相关文档作为输入提供给阅读器模块，阅读器模块会理解这些文档并提取问题的答案，如图一。

图 1：说明 OpenQA 方法的示例。

然而，没有研究调查在检索任务具有挑战性时使用两种训练方式（有监督和无监督训练）的比较优势，如当证据包含数百万个文档时。目前尚不清楚无监督方法是否可以进一步帮助提高强监督方法的性能，如果可以，在什么条件下。 这项工作的核心重点是系统地研究检索器训练的这些方面。

我们提出了一种统一的方法来训练检索器：无监督预训练，然后是监督微调。 我们还研究了关键的设计选择——例如相关性分数缩放和更长时间的训练——并展示它们的有效性。此外，我们还探索了两种阅读器和检索器组件的端到端监督训练方法。 在第一种方法中，阅读器分别考虑每个检索到的文档，而在第二种方法中，阅读器将所有检索到的文档一起作为输入。

通过端到端的训练，我们在检索准确性和答案提取方面获得了新的最先进的结果，优于以前的最佳模型。

Neural Retriever

Background

给定证据中的文档集合 Z = {z1,…,zm} 和问题 q，检索器的任务是为问题选择相关的文档子集。 为此，检索器根据问题对证据文档进行排序，并输出排名靠前的文档。

检索器模型由两个模块组成：问题编码器（fQ）和上下文编码器（fZ）。这种模型通常被称为双编码器模型。

给定来自 Z 的问题 (q) 和上下文文档 (zi) 的双编码器模型的训练方法：首先，我们计算问题和上下文之间的相关性分数。 我们将相关性分数定义为问题和上下文表示之间的点积

其中 fQ(q) ∈ Rd 和 fZ(z) ∈ Rd 分别表示问题和上下文编码器，其参数化为 φ = [φQ,φZ]。

我们使用 BERT 式Transformer网络对 fQ 和 fZ 进行建模。将序列的第一个标