Natural questions: a benchmark for question answering research 论文速读

文章核心观点

本文介绍了 Natural Questions 数据集，这是一个用于问答研究的新数据集。该数据集包含真实匿名用户向谷歌搜索引擎提出的查询，以及针对这些查询在维基百科上找到的答案的注释。注释包括长答案（通常是一段文字）和短答案（一个或多个实体），如果页面上没有答案，则标记为 null。数据集包含 307,373 个训练示例，7,830 个用于开发的数据，以及 7,842 个用于测试的数据。本文还介绍了用于评估问答系统的鲁棒指标，并展示了这些指标上的人类上限，并使用来自相关文献的竞争方法建立了基线结果。

1. 引言

• 开放域问答 (QA) 是自然语言理解 (NLU) 的重要任务，具有实际应用价值，并可以推动 NLU 方法的发展。
• 现有的 QA 数据集存在一些局限性，例如：
  • 问题与答案的生成方式不自然
  • 任务定义过于简单
  • 缺乏大规模训练数据
  • 评估指标不完善
    2. 相关工作
• 介绍了 SQuAD、TriviaQA、NarrativeQA、HotpotQA、WikiQA、MS MARCO 等现有 QA 数据集的优缺点，并分析了它们与 NQ 的差异。
  3. 任务定义和数据收集
• NQ 数据集包含 (问题， 维基百科页面， 长答案， 短答案) 四元组，其中：
  • 问题是来自 Google 搜索引擎的真实匿名聚合查询
  • 维基百科页面可能包含也可能不包含问题的答案
  • 长答案是包含回答问题所需所有信息的 HTML 框，通常是段落或表格
  • 短答案是长答案中回答问题的实体或实体集，或布尔值 “yes” 或 “no”
• 数据收集过程包括：
  • 使用启发式方法从 Google 搜索引擎中过滤出问题
  • 对每个问题，使用 Google 搜索引擎获取前 5 个搜索结果中的维基百科页面
  • 由人工标注者标注长答案和短答案
    4. 标注质量评估
• 使用两种方法评估标注质量：
  • 专家对非空答案进行事后评估，计算标注精度
  • 对部分数据集进行 25 方标注，分析标注者之间的一致性
• 结果表明，NQ 数据集的标注质量较高，但也存在一些可接受答案的歧义性。
  5. 评估指标
• 使用 5 方标注数据作为评估指标的基础，定义了基于 5 方标注的准确率指标。
• 介绍了精度和召回率的定义。
• 构建了“超级标注者”作为评估指标的上界。
  6. 基线性能
• 介绍了三种无训练基线和两种训练模型：
  • 无训练基线：选择维基百科页面第一段、最常见的标注、与评估问题最相似的训练集问题
  • Document-QA 模型：在 SQuAD 和 TriviaQA 上表现良好，经过修改后应用于 NQ
  • 自定义流水线模型 (DecAtt + DocReader)：使用自然语言推理模型选择长答案，使用短答案提取模型选择短答案
• 结果表明，现有的 QA 方法在 NQ 数据集上的性能还有很大的提升空间。
  7. 结论
• NQ 数据集为 QA 研究提供了重要的基准数据，并推动了 NLU 的发展。
• 现有的 QA 方法在 NQ 数据集上的性能还有很大的提升空间，需要进一步的研究和改进。