BERT 面试题 2

1、请简要介绍BERT的网络结构，预训练任务，和优势¹²。

BERT的网络结构是基于Transformer的Encoder部分，由多层自注意力机制和前馈神经网络组成。BERT的预训练任务有两个：Masked Language Model（MLM）和Next Sentence Prediction（NSP）。MLM是在输入序列中随机遮盖一些词，然后让模型预测被遮盖的词。NSP是给定两个句子，让模型判断它们是否是连续的。BERT的优势是能够利用双向的上下文信息，学习到更丰富和通用的语言表示，从而在多种下游任务中取得了显著的提升。

2、请解释BERT中的三种Embedding（Token Embedding，Segment Embedding，Position Embedding）的作用和实现方式²。

BERT中的三种Embedding分别是：
Token Embedding：将输入序列中的每个词转换为一个固定维度的向量，作为模型的输入。BERT使用了WordPiece算法，将词切分为更细粒度的子词，以减少未登录词的问题。BERT还在输入序列的开头和结尾添加了特殊的标记[CLS]和[SEP]，用于分类任务和句子对任务。
Segment Embedding：用于区分输入序列中的不同句子，因为BERT能够处理句子对的分类任务，例如判断两个句子是否语义相似。Segment Embedding有两种向量表示，分别对应第一个句子和第二个句子，在输入序列中用0和1进行标记。
Position Embedding：用于表示输入序列中每个词的位置信息，因为Transformer没有使用循环神经网络或卷积神经网络，无法捕捉序列顺序的信息。Position Embedding是一个可学习的查找表，每个位置对应一个向量，最大长度为512。
最后，BERT将三种Embedding逐元素相加，得到一个综合的Embedding作为模型的输入。

3、请解释BERT中的Multi-Head Attention的原理和计算过程¹²。

BERT中的Multi-Head Attention是一种自注意力机制，能够让模型在编码一个词时同时利用其上下文的信息。Multi-Head Attention的计算过程如下：
首先，将输入序列中每个词的Embedding映射为三个向量：Query，Key，Value。这三个向量分别用于表示当前词对其他词的查询，其他词对当前词的匹配程度，以及当前词本身的语义信息。
然后，将三个向量分别切分为H个小向量（H为头数），每个小向量的维度为D/H（D为原始向量维度）。这样做的目的是让每个头关注不同的语义子空间。
接着，对每一组小向量之间进行点积注意力计算，即先计算Query和Key之间的点积作为权重矩阵，然后除以根号D/H进行缩放（这样做是为了防止点积结果过大导致梯度消失），再通过Softmax函数进行归一化，最后根据权重矩阵加权Value向量得到输出向量。
最后，将H个头输出的向量拼接起来，并通过一个线性变换得到最终输出。

4、请解释BERT中为什么要使用Layer Normalization而不是Batch Normalization¹。

Layer Normalization针对单个样本的不同特征进行归一化，不依赖于其他样本的信息，适用于小批量或动态网络的场景，特别是自然语言处理领域。Batch Normalization针对一个批量的同一特征进行归一化，依赖于批量大小和数据分布，适用于图像领域，因为图像中每个卷积核的参数在不同位置是共享的，因此也应该被一起归一化。

5、请解释BERT中为什么要使用WordPiece而不是分词¹²。

WordPiece是一种将词切分为更细粒度的子词的方法，它的核心思想是根据子词的组合频率，从字符开始逐步合并成更长的子词，直到达到预设的词表大小。WordPiece的作用是减少未登录词（OOV）的问题，提高模型的泛化能力和覆盖范围。例如，一个生僻词cosplayer，如果使用分词，可能会被标记为UNK，而WordPiece可以将它切分为cos##play##er，模型可以利用词根和前缀后缀等信息，学习到这个词的大致含义，而不是一个未知符号。

6、请解释BERT中为什么要在Attention计算中除以根号D¹。

Attention计算中除以根号D是为了防止点积结果过大导致梯度消失的问题。点积结果的大小是跟向量维度D成正比的，如果D很大，那么点积结果也会很大，经过Softmax函数后，梯度就会变得很小，影响模型的优化。除以根号D后可以让Attention的权重分布方差为1，而不是D，从而缓解梯度消失的问题。

7、请举例说明如何使用BERT进行下游任务的微调²³。

使用BERT进行下游任务的微调的一般步骤如下：
首先，选择一个预训练好的BERT模型，根据任务类型和数据规模选择合适的模型规模和版本。
然后，根据任务需求，在BERT模型的最后一层添加一些额外的层，例如分类层，序列标注层，或者问答层等。这些层通常很简单，只有少量的参数。
接着，将下游任务的数据转换为BERT模型能够接受的格式，例如添加特殊标记[CLS]和[SEP]，进行WordPiece切分，生成Segment Embedding和Position Embedding等。
最后，使用下游任务的标签进行微调训练，通常只需要几个epoch就可以达到很好的效果。微调训练时可以冻结部分或全部BERT模型参数，或者使用较小的学习率和较大的权重衰减等策略，以防止过拟合或破坏预训练好的语言表示。

8、请比较BERT和GPT的异同点¹²。

BERT和GPT都是基于Transformer结构的预训练模型，都使用了大规模语料库进行无监督学习，都能够在多种下游任务中取得显著提升。
BERT和GPT最大的不同点在于预训练任务和网络结构上。GPT使用了Transformer的Decoder部分作为网络结构，并且只进行了单向语言模型（LM）的预训练任务。单向语言模型是指给定前文去预测当前词或给定后文去预测当前词。GPT更适用于文本生成类的任务。BERT使用了Transformer的Encoder部分作为网络结构，并且进行了两个预训练任务：Masked Language Model（MLM）和Next Sentence Prediction（NSP）。MLM是指在输入序列中随机
Received message. 以下是我根据网络搜索结果生成的一些可能的答案： - BERT中为什么要使用WordPiece而不是分词？ - WordPiece是一种将词切分为更细粒度的子词的方法，它的核心思想是根据子词的组合频率，从字符开始逐步合并成更长的子词，直到达到预设的词表大小。WordPiece的作用是减少未登录词（OOV）的问题，提高模型的泛化能力和覆盖范围。例如，一个生僻词cosplayer，如果使用分词，可能会被标记为UNK，而WordPiece可以将它切分为cos##play##er，模型可以利用词根和前缀后缀等信息，学习到这个词的大致含义，而不是一个未知符号。 - BERT中为什么要在Attention计算中除以根号D？ - Attention计算中除以根号D是为了防止点积结果过大导致梯度消失的问题。点积结果的大小是跟向量维度D成正比的，如果D很大，那么点积结果也会很大，经过Softmax函数后，梯度就会变得很小，影响模型的优化。除以根号D后可以让Attention的权重分布方差为1，而不是D，从而缓解梯度消失的问题。 - 如何使用BERT进行下游任务的微调？ - 使用BERT进行下游任务的微调的一般步骤如下： - 首先，选择一个预训练好的BERT模型，根据任务类型和数据规模选择合适的模型规模和版本。 - 然后，根据任务需求，在BERT模型的最后一层添加一些额外的层，例如分类层，序列标注层，或者问答层等。这些层通常很简单，只有少量的参数。 - 接着，将下游任务的数据转换为BERT模型能够接受的格式，例如添加特殊标记[CLS]和[SEP]，进行WordPiece切分，生成Segment Embedding和Position Embedding等。 - 最后，使用下游任务的标签进行微调训练，通常只需要几个epoch就可以达到很好的效果。微调训练时可以冻结部分或全部BERT模型参数，或者使用较小的学习率和较大的权重衰减等策略，以防止过拟合或破坏预训练好的语言表示。 - BERT和GPT的异同点有哪些？ - BERT和GPT都是基于Transformer结构的预训练模型，都使用了大规模语料库进行无监督学习，都能够在多种下游任务中取得显著提升。 - BERT和GPT最大的不同点在于预训练任务和网络结构上。GPT使用了Transformer的Decoder部分作为网络结构，并且只进行了单向语言模型（LM）的预训练任务。单向语言模型是指给定前文去预测当前词或给定后文去预测当前词。GPT更适用于文本生成类的任务。BERT使用了Transformer的Encoder部分作为网络结构，并且进行了两个预训练任务：Masked Language Model（MLM）和Next Sentence Prediction（NSP）。MLM是指在输入序列中随机遮盖一些词，然后让模型预测被遮盖的词。这样做的目的是让模型能够利用双向的上下文信息，学习到更丰富和通用的语言表示。NSP是指给定两个句子，让模型判断它们是否是连续的。这样做的目的是让模型能够学习到句子之间的关系，从而更好地处理句子对类的任务。BERT更适用于文本理解类的任务。

Source: Conversation with Bing, 2023/5/12
(1) BERT相关面试题（不定期更新） - 知乎. https://zhuanlan.zhihu.com/p/151412524.
(2) 读懂BERT，看这一篇就够了 - 知乎. https://zhuanlan.zhihu.com/p/403495863.
(3) 图解BERT：通俗的解释BERT是如何工作的 - 知乎. https://zhuanlan.zhihu.com/p/364966458.