GLUE benchmark

GLUE（General Language Understanding Evaluation）是一个多任务基准测试，用于评估自然语言理解（NLU）系统的性能。它由一系列的语言理解任务组成，旨在衡量机器学习模型对人类语言的理解能力。

GLUE 基准包含以下几种类型的任务：

1. 单句分类任务：例如判断一句话是否蕴含某些含义（CoLA: Corpus of Linguistic Acceptability）。
2. 相似度和推理任务：比如评价两个句子之间的关系（如是否等价、蕴含或矛盾），这包括 STS-B (Semantic Textual Similarity Benchmark), MNLI (Multi-Genre Natural Language Inference)，以及 QNLI (Question Natural Language Inference) 等。
3. 问答任务：例如根据一个段落回答问题（RTE: Recognizing Textual Entailment, WNLI: Winograd NLI）。
4. 共指解析任务：确定文本中不同的词语是否指的是同一个实体（WNLI: Winograd NLI）。
5. 语义角色标注任务：虽然 GLUE 中没有直接的语义角色标注任务，但类似的任务对于理解句子内部结构非常重要。

GLUE 的得分为多个任务上的平均分，每个任务都有自己的评估指标。为了在 GLUE 上取得好成绩，模型需要能够处理多种类型的自然语言处理挑战。随着深度学习的发展，特别是预训练语言模型（如 BERT, RoBERTa, XLNet 等）的出现，这些模型在 GLUE 基准上的表现有了显著提升。

GLUE 为研究社区提供了一个统一的标准来比较不同模型的效果，并推动了自然语言处理技术的发展。