BERT 基础

BERT，Bidirectional Encoder Representations from Transformers，来自 Google AI Language 的论文：

[BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding](https://arxiv.org/pdf/ 1810.04805.pdf)

是在和 BooksCorpus 集上预训练模型，然后应用于其他具体任务上时再进行微调。

BERT 模型可以用于问答系统，情感分析，垃圾邮件过滤，命名实体识别，文档聚类等多种任务中，当时 BERT 模型在 11 个 NLP 任务上的表现刷新了记录，在自然语言处理领域引起了不小的轰动，这些任务包括问答 Question Answering（SQuAD v1.1），推理 Natural Language Inference（MNLI）等：

GLUE ：General Language Understanding Evaluation
MNLI ：Multi-Genre Natural Language Inference
SQuAD v1.1 ：The Standford Question Answering Dataset
QQP ： Quora Question Pairs 
QNLI ： Question Natural Language Inference
SST-2 ：The Stanford Sentiment Treebank
CoLA ：The Corpus of Linguistic Acceptability 
STS-B ：The S