ChineseGLUE（CLUE）：针对中文自然语言理解任务的基准平台

导语

2018 年，来自纽约大学、华盛顿大学、DeepMind 机构的研究者创建了一个多任务自然语言理解基准和分析平台——GLUE（General Language Understanding Evaluation）。GLUE 包含九个英文数据集，目前已经成为衡量模型在语言理解方面最为重要的一个评价体系之一。

然而对于中文 NLP 来说，目前缺少相对应的成熟的平台。针对这个问题，中文 NLP 热心人士发起了 ChineseGLUE（简称为 CLUE）项目。开展 CLUE 项目，一方面希望通过对中文 NLP 资源精心的整合为同学们的工作与研究提升效率，另一方面希望通过建立 leaderboard 榜单机制，为大家提供一个高质量的衡量模型效果的平台，促进模型在中文语言理解能力上的提升。

 

中文GLUE

相对于英文，中文 NLP 的资源比较匮乏并缺少有价值的整合。相信很多同学在做中文 NLP 相关工作的时候，都遇到过下面这些问题：

 

• 找不到官方的数据集下载链接；论文中的资源链接过期

• 数据集有好几个版本，大家报的结果也五花八门，不知道信哪一个

• 原始数据集需要繁琐的预处理

• 复现实验困难，预处理和模型的细节可能对最终的结果带来非常显著的影响

 

上面这些问题会花掉 NLP 同学很多的时间，严重影响工作效率，对初学者来说更是如此。我们宝贵的时间就在这些琐碎的令人头大的事情中流逝过去。

 

为了解决上述问题，一群热心的同学发起了 ChineseGLUE（简称为 CLUE），它的 Github 地址是：

https://github.com/chineseGLUE/chineseGLUE

https://github.com/CLUEbenchmark/CLUE

注意到目前有两个地址，后续会做出整合。

ChineseGLUE (CLUE) 如它的名字所示，是中文版的GLUE [1]。ChineseGLUE (CLUE) 为大家：1）收集处理了一系列性质各异的中文数据集（不同领域、不同规模、不同难度）；2）构建了在线提交评测平台。这个