BERT之后，GLUE基准升级为SuperGLUE：难度更大

BERT之后，GLUE基准升级为SuperGLUE：难度更大
机器之心 2019-04-28 12:24
选自Medium

作者：Alex Wang等

机器之心编译

BERT 等模型的进展已让 GLUE 基准在新模型的评估方面日渐乏力，为推动 NLP 技术的进一步发展，有必要对 GLUE 指标进行更新。为此，纽约大学、Facebook 人工智能研究所、华盛顿大学和剑桥大学的多名研究者联合整理发布了 SuperGLUE 基准，其中保留了两项 GLUE 任务，另外又加入了其它五项新任务。相关工具包和数据集将于五月初发布。

GLUE 基准与 SuperGLUE 发布地址：https://gluebenchmark.com

论文：https://w4ngatang.github.io/static/papers/superglue.pdf

过去一年来，机器学习模型在 NLP 领域很多语言理解任务上的表现都获得了极大提升。Elmo、BERT、ALICE、之前被称为 BigBird 的模型（现在叫做 MT-DNN）都取得了显著进展，OpenAI GPT 也有一种非常有效的方案，即