Datawhale AI 夏令营Task3笔记

Transformer模型

        Transformer是一种为处理序列数据而设计的模型，首次在2017年由谷歌研究人员提出。它在自然语言处理（NLP）领域引起了革命，广泛应用于机器翻译、文本生成、情感分析等任务。相比于传统的循环神经网络和卷积神经网络，Transformer在处理长序列时具有更高的效率和性能。

1.编码器和解码器

编码器结构

• 自注意力机制：通过注意力机制计算输入序列中各个单词之间的关系，生成上下文相关的表示。
• 前馈神经网络：对自注意力层的输出进行非线性变换。

解码器结构

        解码器的结构与编码器类似，但是有一个额外的自注意力机制，用于掩盖后续的文本信息，以防模型在训练阶段直接看到后续的文本序列进而无法得到有效地训练。

2.注意力机制

涉及查询（Q），键（K），值（V）三个元素，在编码输入序列中每一个单词的表示的过程中，这三个元素用于计算上下文单词所对应的权重得分，从而反映了在编码当前单词的表示时，对于上下文不同部分所需要的关注程度。注意力权重计算公式如下：

 

 3.残差连接与层归一化

        当网络层数增加时，网络的性能可能会下降，而残差连接通过引入跳跃连接，使得网络的每一层都可以直接访问前面的层，从而做到减轻梯度消失现象

        层归一化是在特征层面进行标准化，不依赖于批次的统计信息，而是对单个样本的所有特征进行标准化，这使得层归一化可以更好地处理变长的序列数据，有效地缓解优化过程中潜在的不稳定、收敛速度慢等问题。

        在Transformer结构中，残差连接和层归一化通常结合使用。在每个编码器和解码器层中，自注意力和前馈网络的输出会通过残差连接与输入相加，然后进行层归一化。这种设计帮助模型在应对复杂样本时，能够更好地学习到有效的特征表示，同时保持训练的稳定性。

简化的Transformer模型如下：

class TransformerModel(nn.Module):  
    def __init__(self, embed_size, heads, num_encoder_layers, num_decoder_layers, input_dim, output_dim):  
        super(TransformerModel, self).__init__()  
        self.encoder = nn.TransformerEncoder(nn.TransformerEncoderLayer(embed_size, heads), num_encoder_layers)  
        self.decoder = nn.TransformerDecoder(nn.TransformerDecoderLayer(embed_size, heads), num_decoder_layers)  
        self.src_emb = nn.Embedding(input_dim, embed_size)  
        self tgt_emb = nn.Embedding(output_dim, embed_size)  
        self.fc_out = nn.Linear(embed_size, output_dim)  

    def forward(self, src, tgt):  
        src_emb = self.src_emb(src)  
        tgt_emb = self.tgt_emb(tgt)    
        encoder_output = self.encoder(src_emb)  
        decoder_output = self.decoder(tgt_emb, encoder_output)  
        return self.fc_out(decoder_output)