【面经&八股】搜广推方向：面试记录（二）

秋冬无暖阳°

已于 2023-11-27 13:58:28 修改

阅读量455

点赞数 2

分类专栏：搜广推等—算法面经文章标签：面试职场和发展

于 2023-11-27 13:56:56 首次发布

本文链接：https://blog.csdn.net/qq_51392112/article/details/134643517

版权

28 篇文章 20 订阅 ¥19.90 ¥99.00

订阅专栏

。。。。。。

选一个你觉得不错的项目进行介绍。。。。。

Transformer encoder 和 decoder 的区别
- Encoder：Transformer中的Encoder是用于将输入序列转换成隐藏表示的模块。它将输入序列中的每一个位置的词嵌入向量作为初始输入，然后通过多层的自注意力机制和全连接层，将每个位置的信息编码成一个定长的隐藏向量表示。Encoder的输出可以被送入Decoder中进行下一步处理。
- Decoder：Transformer中的Decoder是用于生成输出序列的模块。它接受Encoder的输出，以及前面已经生成的部分输出序列作为输入。Decoder的主要任务是生成下一个位置的词，直到整个序列生成完成。Decoder同样也是由多层的自注意力机制和全连接层组成，但相比于Encoder还加入了一个额外的注意力机制，用于将Encoder输出的信息融合到生成过程中。Decoder还包括一个线性变换层，用于将Decoder的输出映射成输出词的概率分布。
- Encoder和Decoder的区别在于它们的输入和输出以及它们的功能。
  - Encoder的输入是输入序列，输出是每个位置的隐藏向量表示；
  - Decoder的输入是Encoder的输出和前面生成的部分输出序列，输出是生成的下一个位置的词。
  - Encoder用于编码输入信息，Decoder用于生