来源: AINLPer公众号(每日干货分享!!)
编辑: ShuYini
校稿: ShuYini
时间: 2024-3-10
该数据集由加州大学、北大等研究者提出的英文阅读理解基准测试集。该数据集旨在推动阅读理解技术向更全面的文本段落分析发展,要求系统对段落内容执行离散推理操作,如加法、计数或排序。这些操作比以往数据集所需的理解更为深入。
DROP数据集通过众包方式创建,首先从Wikipedia中自动提取包含大量数字的叙事性段落,然后通过Amazon Mechanical Turk平台收集问案对。在问题创建过程中,采用了对抗性基线(BiDAF)作为背景,鼓励众包工作者提出基线系统无法正确回答的问题。最终,该数据集包含了96,567个问题,这些问题覆盖了Wikipedia中的多个类别,尤其强调体育比赛摘要和历史段落。
相关数据集与论文获取,GZ: AINLPer公众号 回复:DROP数据集