2021年10月中旬—字节AI LAB NLP算法面试题（一）

问题一：bert的架构是什么 目标是什么 输入包括了什么 三个embedding输入是怎么综合的？

Bert的结构主要是Transformer的encoder部分，其中Bert_base有12层，输出维度为768，参数量为110M，Bert_large有24层，输出维度为1024，参数总量为340M。

Bert的目标是利用大规模无标注语料训练，获得文本包含丰富语义信息的表征。

Bert的输入：token embedding，segment embedding，position embeddimg，三个向量相加作为模型的输入。

文末VIP会员、机械键盘、纸质书、硬盘等包邮送!

问题二： transformer里面每一层的主要构成有哪些

Transformer本身是一个典型的encoder-decoder模型，Encoder端和Decoder端均有6个Block，Encoder端的Block包括两个模块，多头self-attention模块以及一个前馈神经网络模块；

**Decoder端的Block包括三个模块，**多头self-attention模块，多头Encoder-Decoder attention交互模块，以及一个前馈神经网络模块；

需要注意：Encoder端和Decoder端中的每个模块都有残差层和Layer Normalization层。