Bert文本分类实战（附代码讲解）

目录

一、Bert简介

1.1 Transformer模型

1.2 Bert模型

二、BERT的发展历程

2.1 One-Hot 编码

2.1.1 无法计算词相似度

2.1.2 Sparsity（稀疏性） 

​2.2 Word2vec

2.3 BERT的诞生

三、BERT 的训练过程

3.1  Masked LM（Language Model）

3.2 Next Sentence Prediction

四、BERT的用途

4.1 文本分类

4.2 单词分类

4.3 判断两个句子之间的关系 

4.4  QA（问答系统）

五、BERT文本分类实战

5.1 环境搭建

5.2 模型下载

5.3 数据准备

5.4 整体代码架构 

5.5 代码分解

5.5.1 bert.py 

5.5.2 main.py

5.5.3 train.py

5.5.4 utils.py

5.5.5 结果分析

参考文档

---

一、Bert简介

BERT全称是Bidirectional Encoder Representations from Transformers，是google最新提出的NLP预训练方法，在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于我们关心的下游NLP任务（如分类、阅读理解）。 BERT优于以前的方法，因为它是用于预训练NLP的第一个**无监督，深度双向**系统，从名字我们能看出该模型两个核心特质：依赖于Transformer以及双向，同时它也是木偶动画《芝麻街》里面的角色，它还有个兄弟EMLo。长右边这样：