Kaggle TensorFlow 2.0 Question Answering 16名复盘

赛题海报

 

这是Kaggle春节前结束的一个阅读理解的比赛[1]，我和管老师曹老师最终获得16/1233的成绩。成绩来自于管老师的提交，我自己的最好成绩大概排在23名的样子，不好不坏，略低于我们的预期。

数据集

这次比赛的数据集来自于Google，名为Natural Questions，简称NQ。数据集早在19年初就已经公布，在官网[2]上还有排行榜。

这个数据集和SQuAD挺像的，关于SQuAD的介绍大家可以在这篇文章中找到。NQ的训练集包含30多万个样例，每个样例包含一篇来源于维基百科的文章和一个问题。每篇文章可以被分为多个“候选长答案”，所谓候选长答案，可能是一个段落、一张表格、一个列表等等。候选长答案有可能有包含关系，但大部分的标注出来的长答案（95%）都是顶层候选长答案。在所有样例中，有大约一半样例的问题可以用候选长答案来回答。对于有的问题，还可以用更加简短的文章区间来回答，这种区间称为短答案。大约有三分之一的样例可以用短答案来回答。短答案并不一定是一个连续区间，有可能是多个离散的区间。

从上面的描述可以看出这个数据集比SQuAD复杂不少，大家可以到这个页面[3]看一些官方提供的可视化样例。由于复杂，NQ的难度也比SQuAD大不少，我认为主要体现在两点：

1. 文章来源于维基百科原文，并不是像SQuAD一样已经筛选好了段落。这就导致NQ的文章通常很长也很乱。长比较好理解，乱主要体现在数据中会有大量表格、列表以及用来标示这些的HTML保留字。这些内容不能舍弃，因为问题的答案有可能出现在这些部件中。

2. 答案的种类更加多样。SQuAD1.x只需要预测答案区间，2.0增加了不可回答问题。NQ更进一步，多了找长答案这个任务，短答案除了普通的区间还增加了两种特殊的形式：Yes或No

Kaggle这次的比赛形式是Kernel赛，允许参赛者线下训练，但必须在线上完成测试集的推理，推理时间限制为2小时。

<