背景
为什么需要一个中文任务的基准测试
- 中文是一个大语种,有其自身的特定、大量的应用。
- 相对于英文的数据集,中文的公开可用的数据集还比较少。 很多数据集是非公开的或缺失基准测评的;多数的论文描述的模型是在英文数据集上做的测试和评估,那么对于中文效果如何?不得而知。
- 语言理解发展到当前阶段,预训练模型极大的促进了自然语言理解。 不同的预训练模型相继产生,但不少最先进的模型,并没有官方的中文的版本,也没有对这些预训练模型在不同任务上的公开测试,
导致技术的发展和应用还有不少距离,或者说技术应用上的滞后。
所以,需要有一个中文任务的基准测试,包含一批大众能广泛使用和测评的数据集、适用中文任务的特点、能紧跟当前世界技术的发展。
1. 中文NLU任务
一共八个,有三大类:单句、句子对、阅读理解。
1.1 单句任务
单句的分类任务。
数据集 | 说明 | 评价方法 |
---|---|---|
TNEWS | 头条的新闻标题分类任务 | acc |