NLP中数据集的切割方法研究

NLP中数据集的切割方法研究

ACL 2019杰出论文奖: We need to talk about atandard splits

获奖理由

1. 本文质疑了评估NLP模型性能时公认且广泛运用的方法。
2. 本文使用词性标注任务说明了问题。
3. 本文建议模型排名应当基于使用随机切割的重复评估方法。

摘要

自然语言处理领域的标准做法是对数据集按照训练集，验证集和测试集切割，依据在分离出的测试集上的性能来对系统进行排名。然而很少有研究人员用统计的方法来测试性能之间的差异是否是由偶然原因造成的，且很少有人检查同一个数据集中分割出不同的训练-测试集时的系统排名的稳定性。我们使用了2000年至2018年间发布的九个词性标注器进行复现实验，这些标注器每个都声称在广泛使用的标准的分割方式上获得了最佳性能。然而当我们使用随机生成的训练-测试集分割时，根本无法可靠地重现某些排名。我们在此建议使用随机生成的分割来进行系统比较。

问题背景

• 在进行自然语言处理时，现在的标准做法是在一个留出的测试集上进行评估。
• 它可能导致对训练集和测试集的过拟合，缺乏一定的普适性。
• 这样的趋势很有可能是由一种叫做”出版偏见“的现象导致的。

假设G是一个标准集，$G_{train}$是训练集，$G_{val}$是验证集 ，$G_{test}$是测试集。