【论文笔记04】TriviaQA_A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension

1 论文主要内容

• 本文是一篇资源论文，主要发布了用于检索式问答或阅读理解的数据集Trivia QA；
• 对该数据集的质量和数量进行了分析，并创建了baseline，用于具体评估数据集的质量。

2 Trivia QA数据集的特点

• 问题比较复杂
• 在问题和相应的答案句子中有大量的句法或词汇变化
• 需要更多的跨句推理来得到答案

3 本文的主要贡献

• 发布了一个阅读理解数据集
• 提出了分析量化数据集质量的方法和在解决这项任务时遇到的问题
• 提供了两个baseline，证明了Trivia QA数据集有难度，问题不容易回答，值得未来的研究
• 提供了一个小规模的干净的问答数据集

4 个人小结

（1）提到数据集，貌似目前的问答数据集大多数都是英文的，问答的形式都比较简单，比如常见的填空式问答数据集，并且问答知识通常仅限于某一个特殊的领域，这种简单形式的特定领域的问答是在简化现实问答的条件下进行的，比较适合问答任务初期研究；针对后期的深入研究，Trivia QA这一类复杂的数据集或许更值得关注，慢慢去掉假设条件，使问答更接近于人类的问答。
（2）英文类的问答数据集提出了不少，但是针对中文类的数据集，屈指可数，目前有哈工大和科大讯飞发布的问答数据集、百度机器阅读理解竞赛中的问答数据集等数据集，今年京东举办的第一届人机对话竞赛发布的关于客服和用户之间对话的数据集经过整理勉强可以看成是一个可以用的阅读理解数据集,希望以后这个社区可以发布更多中文方面的数据集。

资料来源

论文源代码