深度学习-14-深入理解BERT的基本思想和如何训练BERT模型

1 BERT

BERT(Bidirectional Encoder Representations from Transformers)

1.1 BERT的基本思想

BERT是一种双向Transformer架构，擅长处理自然语言理解认为。它通过遮盖语言模型，和下一句预测进行训练。双向性允许BERT同时考虑左侧和右侧的上下文，增强了理解能力。

BERT如此成功的一个原因之一是它是基于上下文(context-based)的嵌入模型。
不像其他流行的嵌入模型，比如word2vec，是上下文无关的(context-free)。
首先，让我们理解基于上下文和上下文无关的嵌入模型的区别。
考虑下面两个句子：

Sentence A：He got bit by Python.
Sentence B：Python is my favorite programming language.

在句子A中，​​Python​​​是蟒蛇的意思。
在句子B中，Python是编程语言的意思。

如果我们得到上面两个句子中单词​​​Python​​​的嵌入向量：
那么像word2vec这种嵌入模型就会为这两个句子中的​​Python​​​赋予相同的