transformer编码器-解码器结构分析

最新推荐文章于 2024-08-29 18:15:49 发布

baihaisheng

最新推荐文章于 2024-08-29 18:15:49 发布

阅读量2k

点赞数

分类专栏： NLP 文章标签：自然语言处理

本文链接：https://blog.csdn.net/qq_41128383/article/details/105732111

版权

NLP 专栏收录该内容

88 篇文章 4 订阅

订阅专栏

在这里插入图片描述
编码器-解码器结构的代码实现

class EncoderDecoder(nn.Module):
        def __init__(self,encoder, decoder, source_embed, target_embed, generator)
                super().__init__()
                self.encoder=encoder
                self.decoder=decoder
                self.src_embed=source_embed
                self.tgt_embed=target_embed
                self.generator=generator

        def forward(self,source,target,source_mask,target_mask):
                return self.decode(self.encode(source,source_mask),source_mask,target,target_mask)


        def encode(self,source,source_mask):
                return self.encoder(self.src_embed(source),source_mask)


        def decode(self,memory,source_mask,target,target_mask):
                return self.decoder(self.tgt_embed(target),memory,source_mask,target,target_mask)