qq_44706336的博客

原创 论文笔记（Bert：Pre-training of Deep Bidirectional Transformers for Language Understanding）

论文笔记（Bert：Pre-training of Deep Bidirectional Transformers for Language Understanding）论文地址和代码可自行GithubBERT是google最新提出的NLP预训练方法，在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于我们实际要处理的下游NLP任务（如分类、阅读理解、情感识别等）。BERT优于以前的方法，因为它是用于预训练NLP的第一个无监督地、双向的、深度的系统。BERT的模型架构是一个多层