论文阅读-中文任务基准测评CLUE

论文地址
Github更新会更快一些

背景

为什么需要一个中文任务的基准测试

1. 中文是一个大语种，有其自身的特定、大量的应用。
2. 相对于英文的数据集，中文的公开可用的数据集还比较少。 很多数据集是非公开的或缺失基准测评的；多数的论文描述的模型是在英文数据集上做的测试和评估，那么对于中文效果如何？不得而知。
3. 语言理解发展到当前阶段，预训练模型极大的促进了自然语言理解。 不同的预训练模型相继产生，但不少最先进的模型，并没有官方的中文的版本，也没有对这些预训练模型在不同任务上的公开测试，
   导致技术的发展和应用还有不少距离，或者说技术应用上的滞后。

所以，需要有一个中文任务的基准测试，包含一批大众能广泛使用和测评的数据集、适用中文任务的特点、能紧跟当前世界技术的发展。

1. 中文NLU任务

一共八个，有三大类：单句、句子对、阅读理解。

1.1 单句任务

单句的分类任务。

数据集	说明	评价方法
TNEWS	头条的新闻标题分类任务	acc