【面经&八股】搜广推方向:面试记录(二)
1. 自我介绍
。。。。。。
2. 项目介绍
选一个你觉得不错的项目进行介绍。。。。。
3. Transformer 相关
-
Transformer encoder 和 decoder 的区别
- Encoder:Transformer中的Encoder是用于将输入序列转换成隐藏表示的模块。它将输入序列中的每一个位置的词嵌入向量作为初始输入,然后通过多层的自注意力机制和全连接层,将每个位置的信息编码成一个定长的隐藏向量表示。Encoder的输出可以被送入Decoder中进行下一步处理。
- Decoder:Transformer中的Decoder是用于生成输出序列的模块。它接受Encoder的输出,以及前面已经生成的部分输出序列作为输入。Decoder的主要任务是生成下一个位置的词,直到整个序列生成完成。Decoder同样也是由多层的自注意力机制和全连接层组成,但相比于Encoder还加入了一个额外的注意力机制,用于将Encoder输出的信息融合到生成过程中。Decoder还包括一个线性变换层,用于将Decoder的输出映射成输出词的概率分布。
- Encoder和Decoder的区别在于它们的输入和输出以及它们的功能。
- Encoder的输入是输入序列,输出是每个位置的隐藏向量表示;
- Decoder的输入是Encoder的输出和前面生成的部分输出序列,输出是生成的下一个位置的词。
- Encoder用于编码输入信息,Decoder用于生