Datawhale NLP课程 Task2

图解BERT

BERT是一个经典的利用transformer的模型。使用 BERT 最直接的方法就是对一个句子进行分类。模型如下：

为了训练这样一个模型，你主要需要训练分类器（上图中的 Classifier），在训练过程中 几乎不用改动BERT模型。这个训练过程称为微调。

模型架构

• BERT BASE: 与OpenAI的transformer大小相当，以便比较性能。
• BERT LARGE: 一个巨大的模型，它取得了最先进的结果。、
• 输入：就像 Transformer 中普通的 Encoder 一样，BERT 将一串单词作为输入，这些单词在 Encoder 的栈中不断向上流动。每一层都会经过 Self Attention 层，并通过一个前馈神经网络，然后将结果传给下一个 Encoder。
• 输出：每个位置输出一个大小为 hidden_size（在 BERT Base 中是 768）的向量。对于上面提到的句子分类的例子，我们只关注第一个位置的输出。

Reference

https://github.com/datawhalechina/Learn-NLP-with-Transformers