BERT四大下游任务

前两期我们讲到了BERT的原理与应用&其他预训练模型

这一期我们讲一下

自然语言处理四大下游任务

正如8.1.2节所说，BERT等预训练模型的提出，简化了我们对NLP任务精心设计特定体系结构的需求，我们只需在BERT等预训练模型之后下接一些网络结构，即可出色地完成特定任务。

原因也非常简单，BERT等预训练模型通过大量语料的无监督学习，已经将语料中的知识迁移进了预训练模型的Eembedding中，为此我们只需在针对特定任务增加结构来进行微调，即可适应当前任务，这也是迁移学习的魔力所在。

BERT在概念上很简单，在经验上也很强大。它推动了11项自然语言处理任务的最新技术成果，而这11项NLP任务可分类为四大自然语言处理下游任务。为此，笔者将以BERT预训练模型为例子，对自然语言处理的四大下游任务进行介绍。

8.2.1 句子对分类任务

1. MNLI

Williams等人[22]提出的多体自然语言推理（Multi-Genre Natural Language Inference）是一项大规模的分类任务。给定一对句子，目标是预测第二个句子相对于第一个句子是包含，矛盾还是中立的。

2. QQP

Chen等人[23]提出的Quora Question Pairs是一个二分类任务，目标是确定在Quora上询问的两个问题在语义上是否等效。

3. QNLI

Wang等人[24]出的Question Natural Language Inference是Stanford Question Answering数据集[25]的一个版本，该数据集已转换为二分类任务。正例是（问题，句子）对，它们确实包含正确答案，而负例是同一段中的（问题，句子），不包含答案。

4. STS-B

Cer等人[26]提出的语义文本相似性基准（The Semantic Textual Similarity Benchmark）是从新闻头条和其他来源提取的句子对的集合。它们用1到5的分数来标注，表示这两个句子在语义上有多相似。

5. MRPC

Dolan等人[27]提出的Microsoft Research Paraphrase Corpus由自动从在线新闻源中提取的句子对组成，并带有人工标注，以说明句子对中的句子在语义上是否等效。

6. RTE

Bentivogli等人[28]提出的识