Transformer体系详解

Transformer是谷歌在2017年提出的著名算法,源自于论文《Attention Is All You Need》。

1.Transformer的主要结构

Transformer是一个基于Encoder-Decoder框架的模型,它的主要结构分为四个部分。分别是输入部分(Embedding)、Encoder、Decoder和输出部分(线性Linear层和Softmax层)。
其中最重要的是第2和第3部分,即Encoder和Decoder。

1.1 输入层

其实就是,经过向量化和加法的操作,实现了单词的拆分与单词的位置信息的融入,输出的张量带有了位置信息。
Transformer的输入主要包括两部分:

  • 源语言句子(左)和位置编码器
  • 目标语言句子(右)和位置编码器
    在这里插入图片描述
    ①Embedding:句子单词化
    ②Positional Encoding:相当于加上一个数(代表位置信息),再变成统一长度。
    *Embedding层称作文本嵌入层,产生的张量称为词嵌入张量。
    *Positional Encoding是位置编码器。在第二步的encoder里,没有针对词汇位置信息的处理,因此需要在Embedding后面加入位置编码器,使生成的张量带有位置信息。(词汇位置不同,可能会产生不同语义的信)

1.2 编码器Encoder(说明书)

其实就是,经过一系列的矩阵操作,实现了单词间的权重计算,再输出的张量就带有了其他单词的上下文信息。这里输出的矩阵相当于字典Key和Value。

主要组成部分:(n个)

  • 自注意力层:多头自注意力子层+规范化层+残差连接
  • 前馈层:向前传播的全连接子层+规范化层+残差连接
    在这里插入图片描述
    源语言句子经过编码器(Encoder)进行编码,得到一系列的编码表示。

1.3解码器Decoder(拼零件)

其实就是,通过单词间的权重计算,得到带有了位置信息和上下文信息的向量,协同Encoder得到的字典矩阵,经过一系列的矩阵操作,输出预测向量。

主要组成部分:(n个)

  • 自注意力层(相当于预测的Query):多头自注意力子层+规范化层+残差连接
  • 注意力层(相当于字典的Key和Value):多头注意力子层+规范化层+残差连接
  • 前馈层:向前传播的全连接子层+规范化层+残差连接
    在这里插入图片描述
    *编码器有两个输入:解码器传来的编码表示和目标语言句子,逐步生成翻译结果。

1.4 输出层

其实就是,接收Decoder输出的向量,先变成一维向量,然后算出最大概率的单词索引,根据索引输出单词。

主要组成部分:

  • Linear线性层
  • Softmax层
    在这里插入图片描述

Self-attention

字典自查表:通过权重标明相互关系
运用像字典的Key 和 Value,像查询的Query,计算输出一个预测结果Z。

  • d_k是向量维度,是Q,K矩阵的列数。

Muti-attention

多个Self-attention
相当于一件事情找n个人做,保证准确性和稳定性。

不同的注意力权重矩阵QKV,求得n个不同矩阵Z0-Zn,最后取加权平均,输出一个最终的Z 。

残差连接

(典型代表是Resnet)
在这里插入图片描述

  • 32
    点赞
  • 36
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Transformer模型是一种广泛应用于各个领域的模型,包括BERT和GPT等。它具有丰富的适用性。Transformer模型的基本原理是通过编码器和解码器来实现输入序列到输出序列的转换。在PyTorch中,可以使用以下代码实现一个Transformer模型: ```python class Transformer(nn.Module): def __init__(self): super(Transformer, self).__init__() self.encoder = Encoder() # 编码 self.decoder = Decoder() # 解码 self.projection = nn.Linear(d_model, tgt_vocab_size, bias=False) # 输出 def forward(self, enc_inputs, dec_inputs): # enc_inputs形状为\[batch_size, src_len\],作为编码段的输入 # dec_inputs形状为\[batch_size, tgt_len\],作为解码端的输入 enc_outputs, attn = self.encoder(enc_inputs) dec_outputs, attn = self.decoder(dec_inputs, enc_outputs) outputs = self.projection(dec_outputs) return outputs ``` 在这段代码中,Transformer模型包含了一个编码器(Encoder)、一个解码器(Decoder)和一个输出(projection)。编码器和解码器分别通过Encoder和Decoder类实现。在forward方法中,首先将编码器的输入enc_inputs传入编码器,得到编码器的输出enc_outputs和注意力权重attn。然后将解码器的输入dec_inputs和编码器的输出enc_outputs传入解码器,得到解码器的输出dec_outputs和注意力权重attn。最后,将解码器的输出经过输出进行线性变换,得到最终的输出outputs。 这段代码只是一个简单的示例,具体的实现细节可能会有所不同,但整体思路是相似的。通过编码器和解码器的组合,Transformer模型能够实现输入序列到输出序列的转换。 #### 引用[.reference_title] - *1* [Transformer模型入门详解及代码实现](https://blog.csdn.net/cuguanren/article/details/126540189)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [Transformer源码详解(Pytorch版本)逐行讲解](https://blog.csdn.net/Queen_sy/article/details/127628559)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值