5 分钟入门 Google 最强NLP模型：BERT

最新推荐文章于 2024-08-16 13:29:44 发布

Alice熹爱学习

最新推荐文章于 2024-08-16 13:29:44 发布

阅读量7.3k

点赞数 1

分类专栏：自然语言处理

本文链接：https://blog.csdn.net/aliceyangxi1987/article/details/84403321

版权

本文介绍了Google的BERT模型，该模型在11项NLP任务上刷新了记录，包括问答和推理。BERT利用双向Transformer进行语言理解，通过Masked LM和Next Sentence Prediction进行预训练。它可以用于问答系统、情感分析等多种任务，微调过程简单高效。

摘要由CSDN通过智能技术生成

BERT (Bidirectional Encoder Representations from Transformers)

10月11日，Google AI Language 发布了论文

BERT: Pre-training of Deep Bidirectional Transformers for
Language Understanding

提出的 BERT 模型在 11 个 NLP 任务上的表现刷新了记录，包括问答 Question Answering (SQuAD v1.1)，推理 Natural Language Inference (MNLI) 等：

GLUE ：General Language Understanding Evaluation
MNLI ：Multi-Genre Natural Language Inference
SQuAD v1.1 ：The Standford Question Answering Dataset
QQP ： Quora Question Pairs 
QNLI ： Question Natural Language Inference
SST-2 ：The Stanford Sentiment Treebank
CoLA ：The Corpus of Linguistic Acceptability 
STS-B ：The Semantic Textual Similarity Benchmark
MRPC ：Microsoft Research Paraphrase Corpus
RTE ：Recognizing Textual Entailment 
WNLI ：Winograd NLI
SWAG ：The Situations With Adversarial Generations

让我们先来看一下 BERT 在 Stanford Question Answering Dataset (SQuAD) 上面的排行榜吧：
https://rajpurkar.github.io/SQuAD-explorer/