【自然语言处理五】Transformer模型

最新推荐文章于 2024-08-12 22:52:56 发布

moo611

最新推荐文章于 2024-08-12 22:52:56 发布

阅读量676

点赞数

文章标签： transformer 自然语言处理深度学习

本文链接：https://blog.csdn.net/moo611/article/details/122234867

版权

本文介绍了Transformer模型，作为自然语言处理中的重要模型，其利用Self-Attention机制避免了RNN的顺序限制，允许并行计算，提升了训练效率。同时，文章详细讲解了Transformer的Encoder部分在PyTorch中的实现，并简要提到了Decoder部分。

摘要由CSDN通过智能技术生成

1.transformer模型

Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。

在这里插入图片描述

2.encoder部分实现(pytorch)

class EncoderLayer(nn.Module):
    def __init__(self, hidden_size, filter_size, n_head, pre_lnorm, device, dropout):
        super(EncoderLayer, self).__init__()
        # self-attention part
        self.self_attn = MultiHeadAttention(hidden_size, n_head, device)
        self.self_attn_norm = nn.LayerNorm(hidden_size)

        # feed forward network part
        self.pff = PositionwiseFeedForward(hidden_size, filter_size, dropout)
        self.pff_norm = nn.LayerNorm(hidden_size)

        self.pre_lnorm = pre_lnorm

    def forward(self, src, src_mask):
        if self.pre_lnorm:
            pre = self.self_attn_norm(src)
            # residual connection
            src = src + self.self_attn(pre, pre, pre, src_mask)

            pre = self.pff_norm(src)
            src = src + self.pff(pre)  # residual connection
        else:
            # residual connection + layerNorm
            src = self.self_attn_norm(
                src + self.self_attn(src, src, src, src_mask))
            # residual connection + layerNorm
            src = self.pff_norm(src + self.pff(src))

        return src


class Encoder(