【BERT】详解

BERT 简介

• BERT 是谷歌在 2018 年时提出的一种基于 Transformer 的双向编码器的表示学习模型，它在多个 NLP 任务上刷新了记录。它利用了大量的无标注文本进行预训练，预训练任务有掩码语言模型和下一句预测，掩码语言模型指的是随机地替换文本中的一些词为掩码符号，并让它通过上下文信息来预测原来的词是什么。而下一句预测则是给定两个句子，然后让它预测第二个句子是不是第一个句子的下一句。

• 由于 BERT 中编码器的强大学习能力，特别是上下文信息学习能力，使得它在预训练任务时学习到了大量通用的语言知识，而这些知识可以应用在下游任务中来提高性能。下游任务指的是句子对关系、文本分类、阅读理解、序列标注、语言翻译等任务。同时它也很容易适应不同的下游任务，只需在模型后面加上下游任务所需的输出层，然后使用少量的有标注文本数据来进行微调，这样可以节省大量的时间和资源，而且可以不用针对不同的任务重新设计模型结构，并从头开始训练模型。

• BERT 的缺点在于需要大量的算力和无标注文本数据来进行预训练，从而使得下游任务只能在 BERT 的模型权重上进行微调。同时由于掩码符号的存在，使得预训练时的数据和微调、预测时的数据格式的不一致。

BERT 文本数据的 Mask 机制的规则如下

• 随机选择一个样本中 15% 的词，然后有 80% 的概率替换为 [MASK] 符号，10 % 的概率替换为任意一个词，10% 的概率不替换。

Token 和 Token 化

• Token

  将文本分割成一个个的最小单元，最小单元可以是字、词或者字符。Token 的目的是为了让模型能够理解和表示文本的语义和结构，同时也可以避免出现未登录词和新词无法识别的问题。

• Token 化

  将文本分割成 Token，然后还会添加一些特殊的符号，例如 [CLS]、[SEP]、[PAD]、[UNK] 等，用来表示文本的开始、结束、填充、未知等含义。最后给每个 Token 分配一个唯一的 ID ，方便通过 Embedding 层来进行向量化。它的好处是可以减小词表的大小和解决未登录词和新词无法识别的问题，从而提高模型的泛化能力。

  一般不同的模型会有不同的 Token 化，而且同一个模型在面对不同语言时，也会有不同的 Token 化。

• BERT 的 WordPiece Token 化

  WordPiece Token 化是 BERT 用来对文本进行 Token 化的过程。WordPiece Token 化是一个基于统计的 Token 化方法，它的基本思想是基于一个预先构建的词表，从最长的子词开始，逐步将单词分割成更小的子词，直到所有的子词都在词表中，或者达到最小的字符为止。

BERT 模型的结构

• 结构图

• 结构详解
  BERT 的网络结构主要是由 输入层、编码器(Encoder)层、输出层组成，其中：

  • 输入层是由 Token Embedding、句子 Embedding、位置 Embedding 组成的，一般是将它们的值进行相加来作为输入层的输出。

    • Token Embedding 会先将句子进行 Token 化，也就是将文本分割成一个个的最小单元 Token，然后再给它分配一个唯一的 ID，再经过 Embedding 层映射后得到一个对应的向量。

    • 句子(Sentence) Embedding 会分别给第一个句子的所有 Token 都分配 0 作为 ID，用来标记它们属于第一个句子。给第二个句子的所有 Token 都分配 1 作为 ID，用来标记它们属于第二个句子。

    • 位置(Position) Embedding ：因为 BERT 的注意力层是并行化计算的，因此无法知道每个 Token 对应的位置是什么，所以需要输入一个位置信息给模型。BERT 会给每一个位置分配一个可学习的固定长度为 768 的向量，这些向量作为模型的参数，可以在训练的过程中进行更新。BERT 的最大的位置为 512，也就是最长可以输入的句子长度为 512.

    • 维度变化过程：

      输入： [512]

      中间： [512]

        Token Embedding -> [512, 768]
        Sentence Embedding -> [512]         ->(相加)-> [512, 768]
        Position Embedding -> [512, 768]
      

      输出：[512, 768]

  • 编码器层 ：编码器层由多个 Transformer 中的编码器堆叠组成，而每个编码器又包括了两个子层，分别是多头自注意力层和前馈神经网络层。每个子层后面都有残差连接和归一化层。它可以对输入的文本序列进行编码，学习序列中 Token 之间的关系，从而提取序列的上下文信息。

    • 多头自注意力层 ：由多个自注意力组成，自注意力指的是计算注意力时的张量都是同一个输入经过乘以不同的矩阵得到的。每一个自注意力都可以独立地学习上下文信息，从而可以学习到不同的上下文信息，使得多头自注意力层可以捕捉到更丰富的上下文信息。计算自注意力的时候，使用的是缩放点乘注意力公式：

      $$Softmax(\frac{Q{K}^T}{\sqrt{d_k}})$$

      其中，张量 $Q$ 和 $K$ 分别是输入 X 分别乘以矩阵 $W_q$ 和 $W_k$ 得到的。而 $K^T$ 则是张量 $K$ 的转置。而 $d_k$ 则是 Embedding 的维度。 $Softmax$ 则是将计算结果转换为概率，其公式为：
      $$Softmax(x_i)=\frac{{\exp }^{x_i}}{{\sum }_{j=1}^N{\exp }^{x_j}}$$

      而 $Q{K}^T$ 除以 $\sqrt{d_k}$ 的作用是可以将 $Q{K}^T$ 的结果缩放到一定的范围，避免计算出来的结果太大或太小，从而在使用 S o f t