Google发布新的问答语料库，专攻篇章级的NLU问题

最新推荐文章于 2024-06-17 09:34:32 发布

AI科技大本营

最新推荐文章于 2024-06-17 09:34:32 发布

阅读量1.9k

点赞数

640?wx_fmt=jpeg

译者 | Linstancy

整理 | Jane

出品 | AI科技大本营（ID:rgznai100）

开放域的问答（QA）是自然语言理解（NLU）中的一项基本任务，旨在模拟人是如何通过阅读和理解完整的文档，从而寻找信息、发现问题的答案。例如，对于“天空为什么是蓝色的？”这一问题，QA 系统应能够阅读相关网页 (如维基百科页面) 并给出正确答案，即使答案有点复杂和冗长。

然而，目前还没有大规模、公开可用的自然表述问题数据源（即那些寻求答案的人所提出的问题）以及可用于训练和评估 QA 模型的答案数据源。这是因为要收集用于问答研究的高质量数据集需要大量的实际问题，而构建正确答案还需要大量人力。

NQ 数据集

NQ 是第一个使用自然表述问题的数据集，并且可通过阅读整个页面来查找答案，而不是从某一段落中提取答案。为了创建 NQ 数据集，研究者从用户向 Google 搜索引擎提交的真实、匿名、汇总的问题开始。然后，让注释者通过阅读整个维基百科页面来寻找答案，就像问题是他们所提出的那样。而注释器既会查找长篇幅的答案，涵盖有助推断答案的信息，也会查找使用一个或多个实体回答的简单答案。测试 NQ 语料库中注释质量的准确率达到了 90%。

为了促进 QA 领域研究的进展，Google 研究团队近期开源了一个用于训练和评估开放域问答系统的大规模语料库 Natural Question （NQ），这也是第一个复制端到端问答流程的语料库。NQ 是一个很大的数据库，包括 300000 个自然表述问题，以及来自维基百科页面的人类标注的答案信息。同时，它也是专门用于训练 QA 系统的一个语料库。

此外，研究者还加入了 16000 个示例，相同的问题由 5 个不同的注释器提供答案，这对于评估 QA 系统的学习性能非常有用。相比回答一些计算机已经能够胜任的无关紧要的问题，回答 NQ 语料库中的问题则需要对问题有更深入的理解。因此，Google 官方还发布了一项基于这些数据的挑战项目，来帮助推进自然语言理解领域的研究。

640?wx_fmt=gif