transforme框架

已于 2022-08-21 14:29:22 修改
阅读量2.5k 收藏 7
点赞数 1
文章标签： 语音识别 自然语言处理 人工智能
于 2022-08-21 14:28:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gldzkjdxwzs/article/details/126450563
版权

目录

摘要

transforme简介

如何做Seq2seq

1、Encoder

2、Decoder

3、Encoder和Decoder二者如何传递资讯

总结

摘要

本次对transforme展开学习，对于Encoder和Decoder作为本次学习的重点，旨在理解transforme框架的工作原理。

transforme简介

transforme其实是一种sequence-to-sequence model。

常用于：

语音辨识：输入语音信号，输出语音对应文字。（长度由model所决定）

机器翻译：读一个语言，输出另一种语言。（长度仍然由model所决定）

语音翻译：输入语言信号，输出这段语言对应的中文。

语言合成：输入文字，输出语音信号。

文字运用：训练一个聊天机器人。

除此之外在NLP上有着许多运用， 一个sequence-to-sequence model用于多种途径。

 通过sequence-to-sequence model还能解决许多其它问题，比如文法剖析，这属于硬解方法。

Seq2seq for Multi-label Classification：同个东西可以属于多个类别。 输入一个文本文件，输出这个文件属于哪些类别的。

如何做Seq2seq

sequence-to-sequence model里面会分成两块，Encoder和Decoder。

将输入数据传进Encoder，Decoder决定输出的结果。

1、Encoder

给一排向量，输出另外一排向量，二者长度相同。  

Encoder里有很多Block，每个Block都是接收一排向量，输出一排向量。

输入的信号首先通过一个输入嵌入成，即将信号转变为向量的形式。由于这些信号没有位置信息，则在后面加上位置编码，添加位置信息。之后通过multi-head attention层，再将上一步的输出加入一个残差再进行一个layer normalization，通过MLP层后，仍然将上一步输出加入残差在进行layer normalization。这就是完整的block工作流程，最后输出的就是一个block工作后输出的向量，这个block会重复N次。

2、Decoder

Decoder有两种，这里以语音辨识（输入一段语音。输出相应的文字）作为例子来进行分析。

Decoder-Autoregressive(AT)

在Encoder输出完后就轮到Decoder产生语音辨识的结果。在对Decoder的输入中前面加上一个BEGIN符号（一维是1，其它维是0），首先会经过softmax得出一个向量，向量会给distribution中每一个中文分数，分数最高的文字就是输出。之后将得到的输入当作Decoder的输入，再次得到一个新向量，之后得出新的输出。往复循环，直至完成。

特点：将输出当作自己新的输入，同样当某个输入是错误的，则会导致全部出错，一步错，步步错。

  

Encoder和Decoder的结构图相比，当将Decoder中间那块盖住，二者是相差不大的。只是最后在输出时加了个softmax将其变为概率。

在原来的self-attention和Masked Self-attention相比。当产生b1时只考虑a1，产生b2时只考虑a1和b1，即只考虑左边的，不考虑右边的。对Encoder而言，a1到a4是一下就产生的，而对于Decoder而言a1到a4是逐个产生的。

加Masled的原因：说明Decoder输出的是一个个产生的。

Decoder是自己决定输出sequence的长度，在Decoder中得加入一个特殊的符号END，用作停止运作的标准，防止无限循环下去。

 Decoder-Non-Autoregressive(NAT)

不是一次产生一个字，而是一次产生一排字，在速度上跑得比AT快，比较可以控制输出的长度。

3、Encoder和Decoder二者如何传递资讯

cross attention连接Encoder和Decoder。从左边两个箭头，Decoder可以得到Encoder的输出。

cross attention的运作过程如下图所示。将Decoder输出的向量乘以一个矩阵，得到向量q，再将q与a1到a4产生的k1到k4去计算得到attention的分数。之后将α1、α2、α3乘上v1、v2、v3再加起来得到v,之后将v丢向FC。

Training：训练集是打上标签的，每一次Decoder产生一个字时都是做了一次分类问题，输出的字和正确的字存在一个cross entropy，而训练的目的是让所有cross entropy的和越小越好。

总结

学习了transforme框架中的Encoder和Decoder，以及二者之间的联系，对模型框架有了更深的了解。

transforme模型比传统的模型每层计算复杂度更优、可直接计算点乘结果，模型更具有解释性。但模型对于局部特征的捕捉能力基本没有以及在位置信息的设置上是值得优化的。

白小李
关注
前沿系列--Transform架构[架构分析+代码实现]
`or 1 or 不正经の泡泡
12-22 1732
Transform这玩意的大名我想就不用我多说了。那么我们今天要做的就是对Transform架构进行了解，并且使用Pytorch进行一个编写实现。（其实这边博文的话很早之前就差不多写好了，但是话我本人喜欢做一个系列就一直没发布）由于描述的是一种架构，因此好消息是，对于新的理论部分没有啥要求。但是坏消息是，需要一定的前期知识储备。
超详细解读Transformer框架
穿着帆布鞋也能走猫步
04-09 3918
首先我们先对Transformer来个直观的认识。Transformer出现以前，NLP领域应用基本都是以RNN或LSTM循环处理完成，一个token一个tokrn输入到模型中。模型本身是一种顺序结构，包含token在序列中的位置信息。会出现梯度消失现象，无法支持长时间序列。句子越靠后的token对结果的影响越大。只能利用上文信息，无法获取下文信息。循环网络逐个token输入，也就是句子有多长就要循环多少遍，计算的效率低。而Transformer的出现得以解决了上述的一系列问题。
Transformer 框架！终于有人说明白了，建议收藏！
2401_84204413的博客
03-13 1336
首先我们先对Transformer来个直观的认识。Transformer出现以前，NLP领域应用基本都是以RNN或LSTM循环处理完成，一个token一个tokrn输入到模型中。模型本身是一种顺序结构，包含token在序列中的位置信息。但是存在了一些问题：会出现梯度消失现象，无法支持长时间序列。句子越靠后的token对结果的影响越大。只能利用上文信息，无法获取下文信息。循环网络逐个token输入，也就是句子有多长就要循环多少遍，计算的效率低。
超详细解读 Transformer 框架！建议收藏!
机器学习社区
04-13 3369
首先我们先对Transformer来个直观的认识。Transformer出现以前，NLP领域应用基本都是以RNN或LSTM循环处理完成，一个token一个tokrn输入到模型中。模型本身是一种顺序结构，包含token在序列中的位置信息。但是存在了一些问题：会出现梯度消失现象，无法支持长时间序列。句子越靠后的token对结果的影响越大。只能利用上文信息，无法获取下文信息。循环网络逐个token输入，也就是句子有多长就要循环多少遍，计算的效率低。
深度学习Transformer框架
weixin_42587866的博客
02-13 595
Transformer 是一种深度学习框架，专门用于处理序列数据。它是 2017 年由 Vaswani 等人提出的，在 NLP 领域取得了很大的成功。 Transformer 的主要优势在于它可以并行地处理输入序列中的所有元素，并且不依赖于序列长度。它使用了 self-attention 机制，可以在序列中不同位置的元素之间建立联系。这使得 Transformer 在许多 NLP 任务中取得了最先...
【详解】Transformer 的框架结构
绿色羽毛
04-08 1400
Figure1是一个seq2seq的model，左侧为 Encoder block，右侧为 Decoder block。红色圈中的部分为Multi-Head Attention，是由多个Self-Attention组成的，可以看到 Encoder block 包含一个 Multi-Head Attention，而 Decoder block 包含两个 Multi-Head Attention (其中有一个用到Masked)。Multi-Head Attention 上方还包括一
transform详解
weixin_41012399的博客
08-01 1454
transform的attention也是需要用权重代表重要程度，输入*权重=输出，再用输出和label计算loss，transform的权重是通过自注意力机制（Q，K，V）计算得到的。transformer：输入，位置编码，编码器（attention，前馈网络），解码器（attention，前馈网络，mask），loss，反向传播，优化器。通过embedding层得到三个token的embedding，假定分别为：[1, 0, 1, 0]，[0, 2, 0, 2]，[1, 1, 1, 1]
本科毕业设计基于Transformer的运动想象脑电信号分类（CNN和Transformer框架）
10-21
本科毕业设计基于Transformer的运动想象脑电信号分类（CNN和Transformer框架）该项目是个人毕设项目，答辩评审分达到98分，代码都经过调试测试，确保可以运行！欢迎下载使用，可用于小白学习、进阶。该资源主要针对...
本科毕业设计-Transformer脑电信号分类系统源码（CNN+Transformer框架）高分项目
最新发布
04-11
本科毕业设计-Transformer脑电信号分类系统源码（CNN+Transformer框架）高分项目，个人大四的毕业设计、经导师指导并认可通过的高分设计项目，评审分99分，代码完整确保可以运行，小白也可以亲自搞定，主要针对...
本科毕业设计-基于Transformer脑电信号分类系统源码（CNN+Transformer框架）
04-10
本科毕业设计-基于Transformer脑电信号分类系统源码（CNN+Transformer框架），个人大四的毕业设计、经导师指导并认可通过的高分设计项目，评审分99分，代码完整确保可以运行，小白也可以亲自搞定，主要针对计算机...
基于时空图Transformer框架的srtp交通流预测设计源码
10-03
东南大学的国家级创新创业项目团队，针对这一问题，开发出了一套基于时空图Transformer框架的交通流预测模型，并提供了相应的源码，为相关领域的研究人员和工程师提供了便利。 时空图Transformer框架是一种结合了...
Transform学习
laner__gg的博客
08-17 526
参考：https://blog.csdn.net/u013069552/article/details/108074349?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162916179216780357226446%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=162916179216780357226446&biz_id
Transformer架构解析
wdn blog
05-21 7172
Transformer 是第一个完全依赖自注意力来计算其输入和输出表示，而不是使用序列对齐 RNN 或卷积的模型。
transformer架构的理解
ningyanggege的博客
05-06 1578
架构图： 分为两大块，编码层与解码层； 本质上来说编码层会为每一个输入单词输出一个新的representation；可类比于lstm模型中的每个input中对应的hidden state值；而不是一个context vector； 解码层会根据每个输入word编码层输出的representation与前面解码层输出的所有预测值共同预测下一个值； 最生动最形象的解释莫...
Transforms架构解析
Friends
06-06 659
并行运算，加快运算速度， 同时意味着需要更多GPU，用空间换时间。这也是未来发展趋势对于长文本翻译等效果很好，解决了RNN长句翻译效果差问题。
【Transformer】transformer模型结构学习笔记
shuaixio的博客
07-07 2357
transformer架构，encoder-decoder层，encoder子层介绍，decoder子层介绍，注意力机制，自注意力，交叉注意力，因果注意力，多头注意力，掩码注意力，前馈神经网络，非线性
transforms使用（pytroch框架入门]）
栋哥修炼日记
03-24 501
2、TensorBoard的使用 使用1 writer.add_scalar() from torch.utils.tensorboard import SummaryWriter writer=SummaryWriter("logs") # writer.add_image() # y=x for i in range(100): writer.add_scalar("y=2x",3*i,i)#title 、y轴、x轴 writer.close 得到一个log 接着在termin
Transformer架构详解，一文看懂不是梦！！！
qq_55009448的博客
09-24 4625
在机器翻译应用中，它输入一种语言，通过一个编码组件和一个解码组件后输出对应的另一种语言。输入嵌入（Input Embedding）：输入序列中的每个元素（如单词、图像块等）会先转换为向量表示，通常通过嵌入层进行。位置编码（Positional Encoding）：由于 Transformer 不能像 RNN 那样通过顺序自然感知位置信息，需要添加额外的位置信息。位置编码可以使用正弦和余弦函数，帮助模型感知序列中每个元素的顺序。自注意力层（Self-Attention Layer）
Attention注意力机制&Transform架构
h2728677716的博客
04-16 2137
RNN不同的拓扑结构对应不同应用场景。 many to many也就是我们所说的seq2seq 中间RNN结构， 下面的输入相当于encoder编码 上面的输出相当于decoder解码 这种结构下面全都是要输入的，上面也都是要输出的，只是我们没有画出来，没有画出来的输出我们不会真正用到 Attention注意力机制 举例： 比如我们在做机器翻译的时候，我们希望他会有重点的进行翻译。 基于Encoder-Decoder框架 1.两层RNN链，左边蓝色的是Encoder,右边黄色
Transformer 框架
02-18
### Transformer框架在深度学习中的应用 Transformer是一种基于自注意力机制的神经网络架构，最初由Vaswani等人于2017年提出。该模型摒弃了传统RNN/LSTM依赖顺序计算的方式，转而利用多头自注意力机制来捕捉输入序列中不同位置之间的关系。 #### 自注意力机制的工作原理 在一个典型的Transformer层内，每个元素（如单词或像素）都会与其他所有元素建立联系，从而形成全局上下文感知。具体实现方式如下： - **Query (Q)**, **Key (K)** 和 **Value (V)** 是三个矩阵变换后的向量表示形式； - 对于给定的位置i，q_i会与所有的k_j相乘得到权重分数score_ij； - 使用softmax函数对这些分数进行归一化处理，使得它们加起来等于1； - 将上述概率分布作用于v_j上求得最终输出o_i； 此过程可以表达为公式: \[ \text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q K^{T}}{\sqrt {d_k}}\right)V \] 其中\( d_k \)代表key维度大小用于缩放点积结果防止梯度消失问题[^2]。 #### 编码器-解码器结构 完整的Transformer通常包含编码器(encoder)-解码器(decoder)两部分组成： - **Encoder**: 主要负责接收原始输入并提取特征信息。它由多个相同类型的子层堆叠而成，每层内部又分为两个主要组件——一个多头自关注模块和一个全连接前馈网络(FFN)，两者之间都加入了残差链接(residual connection)和LayerNorm操作以促进训练稳定性。 - **Decoder**: 接收来自encoder端产生的context vector以及目标侧的历史预测值作为输入来进行下一步词的选择。同样地，decoder也包含了类似的分层设计，不过在此基础上增加了一个masked multi-head self attention用来屏蔽未来时刻的信息避免泄露答案。 ```python import torch.nn as nn class Encoder(nn.Module): def __init__(self, input_dim, hid_dim, n_layers, n_heads, pf_dim, dropout, device, max_length=100): super().__init__() self.tok_embedding = nn.Embedding(input_dim, hid_dim) self.pos_embedding = PositionalEncoding(hid_dim, dropout, max_len=max_length) self.layers = nn.ModuleList([EncoderLayer(hid_dim, n_heads, pf_dim, dropout, device) for _ in range(n_layers)]) self.dropout = nn.Dropout(dropout) self.scale = torch.sqrt(torch.FloatTensor([hid_dim])).to(device) def forward(self, src, src_mask): batch_size = src.shape[0] src_len = src.shape[1] pos = torch.arange(0, src_len).unsqueeze(0).repeat(batch_size, 1).to(self.device) src = self.dropout((self.tok_embedding(src) * self.scale) + self.pos_embedding(pos)) for layer in self.layers: src = layer(src, src_mask) return src ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值