seq 2 seq（编码器-中间张量-基于注意力的解码器） 难点整理

最新推荐文章于 2024-03-10 11:42:25 发布
最新推荐文章于 2024-03-10 11:42:25 发布
阅读量152 收藏
点赞数
文章标签： 深度学习 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44497995/article/details/120910581
版权

以英译法为例，要将 i am the best 翻译成 Je suis le meilleur

资源数据（sources）是 i am the best

目标词（targets）是Je suis le meilleur

（targets中的任意一个单词，称为target）

知识点一：target 与sources 之间是 一对全部的关系，因为有几个目标词就有几个权重分布，一个权重分布中包含任意一个target和全部sources，记录着有关该target的sources众多权重系数。

（这也是Q，K的直接拼接后进行线性变化，再升维后得到的结果，就是权重分布）

知识点二：得到全部权重分布后和V进行bmm运算（矩阵的乘法，唯一不同是权重矩阵和V都是三维的，忽视第一维如：1*10*120 和 1* 120 *34 bmm后得到:1*10*34），产生中间张量C

知识点三:bmm运算的作用和意义:

1.对内容进行加权平均

2.能很快的找到目标语言和source之间的关系

知识点四：对于解码器要有三个输入Q（查询张量，也叫上一时间步的输出），K（隐层张量） ,C(中间张量），第一步没有Q

          代码实现逻辑上：

decoder_input---->代表查询张量------>(预测出)第一个单词---->(成为第二个时间步的查询张量y^)

(这个^在y头上，我放不上了)

------>预测出第二个查询张量…………(直到最后)

请各位多指正

听雨江南牛
关注
【Seq2Seq】使用 RNN 编码器-解码器学习短语表示以进行统计机器翻译
sikh_0529的博客
10-02 2675
让我们提醒自己一般的编码器-解码器模型。我们在嵌入的源序列（黄色）上使用编码器（绿色）来创建上下文向量（红色）。然后，我们将该上下文向量与解码器（蓝色）和线性层（紫色）一起使用，以生成目标句子。在之前的模型中，我们使用多层 LSTM 作为编码器和解码器。先前模型的一个缺点是解码器试图将大量信息塞入隐藏状态。在解码时，隐藏状态需要包含有关整个源序列的信息，以及到目前为止已解码的所有token。通过减轻一些信息压缩，我们可以创建一个更好的模型！
NLP-生成模型-2014：Seq2Seq【缺点：①解码器无法对齐编码器（Attention机制）；②编码器端信息过使用或欠使用（Coverage机制）；③解码器无法解决OOV（Pointer机制）】
u013250861的博客
12-22 1970
我们之前遇到的较为熟悉的序列问题，主要是利用一系列输入序列构建模型，预测某一种情况下的对应取值或者标签，在数学上的表述也就是通过一系列形如 Xi=(x1,x2,...,xn)\textbf{X}_i=(x_1,x_2,...,x_n)Xi​=(x1​,x2​,...,xn​) 的向量序列来预测 YYY 值，这类的问题的共同特点是，输入可以是一个定长或者不定长的序列，但输出一般要求是一个固定长度的序列（单个标签较为常见，即长度为1的序列）。 例如利用RNN网络的文本情感分类，输入的文本长度不固定，但输出是某一
使用基于注意力的编码器-解码器实现医学图像描述
deephub
10-16 5548
图像描述是生成图像文本描述的过程。它使用自然语言处理和计算机视觉来为图像生成描述的文本字幕。一幅图像可以有很多个不同的描述，但是只要它正确地描述了图像，并且描述涵盖了图像中的大部分信息就可以说是没问题的。下面是示例图片和生成的描述文字。我们能够成功地为x射线图像生成标题(发现)，并能够通过带有GRUs的基于全局注意力的编码器-解码器模型实现约28.3%的BLEU评分。
编码器-解码器模型（Encoder-Decoder)
极光喵的博客
03-10 6200
Encoder-Decoder算法是一种深度学习模型结构，广泛应用于自然语言处理（NLP）、图像处理、语音识别等领域。它主要由两部分组成：编码器（Encoder）和解码器（Decoder）。如图1所示，这种结构能够处理序列到序列（Seq2Seq）的任务，如机器翻译、文本摘要、对话系统、声音转化等。图1 编码器-解码器结构文本摘要是一种将长文本压缩成短文本的任务，其中Encoder-Decoder模型通常用于生成一个摘要句子。
深入理解深度学习——Transformer：解码器（Decoder）的多头注意力层（Multi-headAttention）
冯·诺依曼
06-14 1万+
来表示由带掩码的多头注意力层输出的注意力矩阵。多头注意力机制的第1步是创建查询矩阵、键矩阵和值矩阵。我们已知可以通过将输入矩阵乘以权重矩阵来创建查询矩阵、键矩阵和值矩阵。我们可以看到，每个解码器中的多头注意力层都有两个输入：一个来自带掩码的多头注意力层，另一个是编码器输出的特征值。[3] 车万翔, 崔一鸣, 郭江. 自然语言处理：基于预训练模型的方法[M]. 电子工业出版社, 2021.是通过分数加权的值向量之和计算的。将最终的注意力矩阵送入解码器的下一个子层，即前馈网络层。（前一个子层的注意力矩阵）。
【深度学习】动手学深度学习——编码器-解码器
小张同学的博客
01-17 4124
参考资料： https://zh.d2l.ai/chapter_recurrent-modern/encoder-decoder.html 自然语言处理 10.9 编码器—解码器（seq2seq） 在自然语言处理中，输入输入都可以是不定长序列，此时可以用编码器—解码器（encoder-decoder）[1] 或者seq2seq模型 [2]。根据“编码器-解码器”架构的设计， 我们可以使用两个循环神经网络（分别叫做编码器和解码器）来设计一个序列到序列学习的模型。 编码器接受一个长度可变的序列作为输入， .
【神经网络】MLP 编码器-解码器 注意力机制 残差连接
十一月廿七风雨大作
01-03 9036
[1] 多层感知机(MLP)   最典型的MLP包括包括三层：输入层、隐层和输出层，MLP神经网络不同层之间是全连接的（全连接的意思就是：上一层的任何一个神经元与下一层的所有神经元都有连接）。   由此可知，神经网络主要有三个基本要素：权重、偏置和激活函数   权重：神经元之间的连接强度由权重表示，权重的大小表示可能性的大小   偏置：偏置的设置是为了正确分类样本，是模型中一个重要的参数，即保证通过输入算出的输出值不能随便激活。   激活函数：起非线性映射的作用，其可将神经元的输出幅度限制在一定范围内，.
seq2seq通俗理解----编码器和解码器(TensorFlow实现)
08-30 1186
1. 什么是seq2seq 在⾃然语⾔处理的很多应⽤中，输⼊和输出都可以是不定⻓序列。以机器翻译为例，输⼊可以是⼀段不定⻓的英语⽂本序列...
基于seq2seq的聊天系统，使用LSTM/GRU+注意力机制 使用框架pytorch
最新发布
04-22
3. **注意力机制**：在seq2seq模型中，注意力机制允许解码器在生成每个目标词时，不是只关注编码器的最后状态，而是可以根据需要动态地聚焦在输入序列的不同部分。这提高了模型生成上下文相关回复的能力，尤其对于长...
Triplet Attention: 轻量且有效的即插即用注意力
m0_63642362的博客
08-01 8111
本文研究了轻量但有效的注意力机制，并提出了Triplet Attention，这是一种通过使用三分支结构捕捉交叉维度交互来计算注意权重的新方法。
编码器—解码器和注意力机制
Think
03-19 1万+
在基于词语的语言模型中，我们使用了循环神经网络。它的输入是一段不定长的序列，输出却是定长的，例如一个词语。然而，很多问题的输出也是不定长的序列。以机器翻译为例，输入是可以是英语的一段话，输出可以是法语的一段话，输入和输出皆不定长，例如 英语：They are watching. 法语：Ils regardent. 当输入输出都是不定长序列时，我们可以使用编码器—解码器（encod...
编码器—解码器（seq2seq）+ Attention
Shingle_的博客
09-08 1万+
输入和输出都可以是不定长序列，例如机器翻译、图像描述 在训练数据集中，我们可以在每个句子后附上特殊符号“”（end of sequence）表示序列的终止。 编码器 编码器的作用是把一个不定长的输入序列变换成一个定长的背景变量 c，并在该背景变量中编码输入序列信息。常用的编码器是循环神经网络。 循环神经网络隐藏层的变换: ht=f(xt,ht−1).ht=f(xt,ht−1). {h...
深度学习笔记(六)：Encoder-Decoder模型和Attention模型
热门推荐
Multiangle's Notepad
10-15 12万+
这两天在看attention模型，看了下知乎上的几个回答，很多人都推荐了一篇文章Neural Machine Translation by Jointly Learning to Align and Translate 我看了下，感觉非常的不错，里面还大概阐述了encoder-decoder(编码)模型的概念，以及传统的RNN实现。然后还阐述了自己的attention模型。我看了一下，自己做了一些摘
动手学深度学习（四十八）——使用注意力机制的seq2seq
Liu Feng's Blog
02-19 1373
文章目录一、动机二、Bahdanau 注意力模型1. 定义Attention解码器2. 训练3. 使用BLEU评估4. 可视化权重总结 一、动机 机器翻译时，每个生成的词可能相关于源句子中不同的词 二、Bahdanau 注意力   我们在seq2seq中研究了机器翻译问题，在那里我们设计了一个基于两个循环神经网络的编码器-解码器架构，用于顺序到序列的学习。具体来说，循环神经网络编码器将可变长度序列转换为固定形状的上下文变量，然后循环神经网络解码器根据生成的标记和上下文变量按标记生成输出（目标）序列标记。
动手学深度学习第十八课：seq2seq（编码器和解码器）和注意力机制
weixin_42721412的博客
10-23 2265
rnn->seq2seq：rnn的输出是定长的，而seq2seq的输出是不定长的了： 编码器和解码器： 编码器和解码器是2个RNN。 背景变量C encoder先把输入信息存入c，decoder再给弄出来。 参数怎么确定呢？ 引入双向： 双向拼接的时候不是加，而是：连接两个向量。 。 输入的h0可以全部为零，但是输出的h‘0一般不随机，给一个第一个词的信息。 上述模型有一点是，输出解码时每一时刻的得到的都是C。 比如，对于如上的句子，我们希望的是在进行第一个输出时，对输入的第一个，第二
机器翻译 MXNet（使用含注意力机制的编码器—解码器，即 Encoder编码器-Decoder解码器框架 + Attention注意力机制）
あずにゃん梓喵的博客
08-25 2136
注意力机制 SENet、CBAM 机器翻译 MXNet（使用含注意力机制的编码器—解码器，即 Encoder编码器-Decoder解码器框架 + Attention注意力机制） one-hot向量化中实现的循环神经网络： 1.输入数据inputs： 输入数据数据为List列表，列表的元素数量为时间步数，每个元素(时间步t)为(批量⼤小,词典⼤小)形状的矩阵。 inpu...
为文本摘要模型添加注意力机制：采用LSTM的编解码器模型实现
deephub
06-12 6906
摘要是自然语言处理领域中最具挑战性和最有趣的问题之一。它是一个从多种文本资源(如书籍、新闻文章、博客文章、研究论文、电子邮件和tweet)中生成简洁而有意义的文本摘要的过程。现在，随着大量的文本文档的可用性，摘要是一个更加重要的任务。 那么有哪些不同的方法呢? 萃取总结 这些方法依赖于从一段文本中提取几个部分，比如短语和句子，然后将它们堆在一起创建摘要。因此，在提取方法中，识别出用于总结的正确句子是至关重要的。让我们通过一个例子来理解这一点。 Text: Messi and Ronaldo have be
Transformer模型的编码器结构实现1(掩码张量+注意力机制)
APPLECHARLOTTE的博客
10-11 1197
本文介绍Transformer模型编码器各个部分原理以及代码实现
编码器-解码器(seq2seq)
tcn760的博客
04-26 1万+
文章目录1、编码器解码器架构1.1、概念1.2、代码1.2.1、编码器(Encoder)1.2.2、解码器(Decoder)1.2.3、合并编码器和解码器2、seq2seq模型2.1、编码器2.2、解码器2.3、编码器-解码器细节2.4、训练&推理2.5 评价指标-BLEU3、机器翻译代码3.1、机器翻译数据集3.1.1、下载和预处理数据集3.1.2、词元化3.1.3、词表3.1.4、截断和填充文本序列3.1.5、构建数据迭代器3.2、seq2seq模型搭建与训练3.2.1、编码器3.2.2、解码器
理解和应用：注意力机制与Seq2seq深度学习模型
在Seq2seq模型中，注意力机制通常结合在解码器的输出步骤中，通过计算编码器输出和解码器隐藏状态之间的加权和来形成上下文向量，这个加权和就是根据注意力分布计算的。解码器在每个时间步会更新其注意力分布，聚焦...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值