KDtery35的博客

原创 深入理解Transformer模型1

Decoder利用Memory和自身输入的上下文信息生成输出序列,实现了输入序列到输出序列的转换。综上,Encoder模块通过Self-Attention层和前馈网络层,实现了输入序列的特征抽取与编码,为Decoder的解码提供所需要的上下文信息,这是实现transformer模型输入与输出转换的关键一步。综上,Decoder模块利用Encoder的输出Memory和自身的输入,通过多层Self-Attention与前馈网络实现输出序列的生成,完成transformer模型的解码过程。