Seq2Seq的attention

最新推荐文章于 2024-09-13 17:11:35 发布
最新推荐文章于 2024-09-13 17:11:35 发布
阅读量90 收藏
点赞数
文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45599022/article/details/108880656
版权
Seq2Seq模型在处理长序列时存在梯度消失问题，以及context vector难以聚焦关键信息。为了解决这些问题，引入了注意力机制，通过计算输入序列中各词对翻译的贡献权重，增强了模型的可解释性和效果。Self-Attention作为注意力的一种形式，通过queries, keys, values三个向量计算每个单词的贡献度，实现对输入序列的动态关注，有助于提升生成每个单词时上下文信息的利用效率。" 111542703,10296328,Python QTableWidget 列设为只读,"['Qt编程', 'Python GUI', '桌面应用开发', 'PySide', 'PyQt']
摘要由CSDN通过智能技术生成

Seq2Seq模型存在的问题：

梯度问题，decoding只依赖于context vector，句子开始部分的信息容易丢失。（即梯度消失问题）

实际应用中，翻译某个词可能只需要关注C中的某一部分即可（如翻译weather时只需关注天气这个词），但seq2seq的C是整个句子的向量，所以在翻译weather时可能会出现副作用。

解决方法：引入attention

 

进入attention的好处：可解释性增强，更容易找bug。

attention原理：下文中汉语的每个词的向量与翻译的每个词进行相乘，得到各中文词在翻译成这个英文的贡献权重。

组成一个向量C'(1)与生成的h向量一起与Why权重参数相乘，再经过softmax回归得到Yhat

贡献权重：可以用g*h向量内积，也可以加一个转移矩阵方法不一

</

最低0.47元/天 解锁文章
weixin_45599022
关注
PyTorch笔记 - Seq2Seq + Attention 源码
Mystra
12-06 748
Encoder：编码器，将序列建模为上下文相关的表征，输入：Seq2SeqAttentionMechanism：Attention机制，输入，t时刻的解码器状态、encoder的全部states，只是操作，不需要学习Decoder：Encoder是lstm_layer，Decoder是LSTMCell
Seq2Seq Attention模型详解
SunnyGJing’s blog
11-05 3178
Seq2seq是一种Encoder-Decoder协同训练的端到端网络。传统Seq2seq只取用Encoder的rnn单元的最后一个隐层输出作为Decoder的输入，但由于时序串行的关系，最后一个隐层输出更关注于位于时序末尾的特征，而更弱化了位于时序前端的特征，所以这通常是“有偏”的。如今我们提到Seq2seq则常把它和Attention联系在一起，正是因为Attention采用各个rnn隐层输出的加权和，解决了“有偏”的问题。
基于seq2seq的中国古诗词自动生成技术
大数据挖掘SparkExpert的博客
05-03 9059
文本生成技术是深度学习赋予自然语言处理一项全新的技术，而刚好网上有这方面诸多的例子，因此趁着有空实现一下中国古诗的自动生成技术，还是挺好玩的。 具体步骤主要包括以下几点： (1) 准备语料库，即对据有的古诗进行获取。 (2) 生成关键词，并进行词向量转化。 (3) 利用RNN的编码解码模型进行训练，由于RNN具备一对多的输出，因此可以很好地解决这种自动生成技术。
基于RNN生成古诗词
zeng_haoyu的博客
04-10 3875
1、generate_poetry.py古诗清洗、过滤较长或较短古诗、过滤即非五言也非七言的古诗。为每个字生成唯一的数字ID、每首古诗用数字ID表示。#-*- coding:utf-8 -*- import numpy as np from io import open import sys import collections class Poetry: def __init__(se...
基于图片生成古诗（nlp）
weixin_44699048的博客
05-31 5539
项目简介：本项目可以通过分析所给的图片，提取其中的关键意向标签，并由关键词生成意境相关的五言绝句。 背景：通过阅读文献，我们了解到图片多分类、以及基于attention的Seq2Seq古诗生成模型已经较为成熟。我们很自然的想到是否可以把二者结合起来，使用分类后的图片标签作为生成古诗的关键词，那么基于图片生成古诗也就相应的实现。 模型和方法：1.图像识别 使用cifar-100数据集进行模型训练，数据集地址： http://www.cs.toronto.edu/~kriz/cifar.html?usg=alk
Seq2Seq源码解析（基于Theano框架）
小小石头的那些事儿
05-15 1万+
这是一篇关于seq2seq源码解析的文章。seq2seq是一个通用型 端到端（end-to-end）的学习框架，包括2个部分，一个是Encoder（编码器，负责编码源句子的输入），另外一个是Decoder（解码器，负责解析目标句子的生成）。你既可以用它来做翻译模型，也可以用来做单轮或多轮对话系统、甚至古诗词生成任务等等等…… （简直是深度学习的万金油啊！）
【深度学习实战应用案例】时序分析-seq2seq(attention)（代码+数据）.zip
03-24
本资源"【深度学习实战应用案例】时序分析-seq2seq(attention)"是一个深入实践的教程，涵盖了时序数据分析的关键技术——序列到序列（Seq2Seq）模型，并结合注意力机制（Attention）进行详细讲解。以下是关于这些...
动手深度学习PyTorch（十）Seq2Seq、Attention
01-07
1. 编码器—解码器（seq2seq） 在自然语言处理的很多应用中，输入和输出都可以是不定长序列。以机器翻译为例，输入可以是一段不定长的英语文本序列，输出可以是一段不定长的法语文本序列，例如 英语输入：“They”、...
Seq2Seq Attention输入输出维度分析-最详细
sophicchen的专栏
08-16 4736
1. Attention 注意力机制就是为了解决当解码的序列太长时，越到后面效果就越差。因为在未引入注意力机制之前，解码时仅仅只依靠上一时刻的输出而忽略的编码阶段每个时刻的输出（“称之为记忆”）。注意力机制的思想在于，希望在解码的时刻能够参考编码阶段的记忆，对上一时刻输出的信息做一定的处理（也就是只注意其中某一部分），然后再喂给下一时刻做解码处理。这样就达到了解码当前时刻时，仅仅只接受与当前时刻有关的输入，类似与先对信息做了一个筛选（注意力选择）。Encoder 把所有的输入序列编码成了一个c向量，然后使
NLP学习—12.Seq2Seq模型与Attention机制
柳杰的博客
08-21 1109
文章目录引言一、文本生成任务二、Seq2Seq讲解1.Seq2Seq模型存在问题三、Beam Search四、Seq2Seq+Attention机制 引言   Seq2Seq模型用于文本生成。在这个模型基础上，加上Attention机制可以使得模型效果更好。 一、文本生成任务   常见的文本生成任务有以下几种： Machine Translation（机器翻译） 不同语言之间的转换 Summarization（自动生成摘要） 有两种方法论： 抽取式摘要生成 将原始文本中关键的句子、短语、关键单词抽
基于seq2seq的中国对联自动配对技术实践
大数据挖掘SparkExpert的博客
05-03 3113
Sequence to Sequence模型这种基于编码--解码的模型已经被谷歌成功应用于机器翻译上。而理论上任意的序列到序列的有监督问题都可以用这种模型。如上一篇文章写的古诗生成。包括这一篇实践性的对联配对。 对对联生成过程中，需要使用LSTM来实现，然后需要设置其编码与解码的相关参数。如下所示： # 创建基本的LSTM单元 cells = [tf.contrib.rnn.Dropo
十分钟教程：用Keras实现seq2seq学习
weixin_33847182的博客
10-05 931
更多深度文章，请关注云计算频道：https://yq.aliyun.com/cloud 看到有很多人问这个问题：如何在Keras中实现RNN序列到序列（seq2seq）学习？本文将对此做一个简单的介绍。 请注意，要读懂本文，你需要具备循环网络和Keras方面的相关经验。 什么是seq2seq学习？ 序列到序列学习（seq2seq）是一种把序列从一个域（例...
手把手教你用seq2seq模型创建数据产品（附代码）
数据派THU
03-21 2316
原文标题：How To Create Data Products That Are Magical Using Sequence-to-Sequence Models作者：Hamel Husain翻译：笪洁琼校对：梁傅淇本文共7300字，建议阅读14分钟。本文将教你如何使用Keras和TensorFlow来对Github项目进行文本摘要和特征提取。目标：训练一个模型来对Github项目进行总结矩形
tensorflow代码全解析 -3- seq2seq 自动生成文本
zyfortirude的博客
04-26 4762
模型概述序列建模seq2seq,给定一个序列A，模型生产另一个序列B，然后模型再由序列B生成C,以此一直持续下去。基本工作流程如下： 序列A中的每一个单词通过word_embedding操作以后，作为input进seq2seq入模型，模型生成同样维度的序列A_out 训练的时候，模型的输出序列A_out与序列B之间的交叉熵作为模型的目标函数，采用clip控制过的梯度进行收敛；
seq2seq + attention 详解
热门推荐
xy_free的博客
05-21 3万+
seq2seq + attention 详解 作者：xy_free \qquad 时间：2018.05.21 1. seq2seq模型 seq2seq模型最早可追溯到2014年的两篇paper [1, 2]，主要用于机器翻译任务（MT）。seq2seq本质上是一种encoder-decoder框架，以翻译任务中的“英译汉”为例，模型首先使用编码器对英文进行编码，得到英文的向量化表示S，然后使...
Seq2Seq详解及实现
大雄没有叮当猫的博客
08-23 6085
1.Seq2Seq是什么？   Seq2Seq学习是训练一个模型，将来自一个领域的序列(例如英语语句)转换为另一个领域的序列(例如法语)。 "the cat sat on the mat" -> [Seq2Seq model] -> "le chat etait assis sur le tapis"   Seq2Seq模型可以用于机器翻译或者自由问答(在给定自然语言问题的情况下生成自然语言答案)。通常，它可以在任何需要生成文本的情况下使用。   我们可以使用多种方法来处理Seq2Seq任务，
深入浅出讲解seq2seq中的Attention机制
程序星空实验室
03-16 1218
1.Attention机制的提出： Attention模型最早是在计算机视觉领域提出，首次用于解决nlp问题在2014年[1]。由于seq2seq中的原始输入序列中的单词对于目标输出序列的重要性程度是一致的，当输入序列过长时，此模型的效果将会降低。 比如，在机器翻译方面，对于输入序列为“自”，“然”，“语”，“言”，生成的输出序列为“Natural”，“Language”。事实上，我们发现，“...
计算机人工智能前沿进展-大语言模型方向-2024-09-13
最新发布
09-13 1078
大语言模型技术方向09-13相关论文简介
seq2seq attention时序
08-01
引用[1]: Seq2seq，顾名思义，一个序列到另一个序列的转换。它是一种Encoder-Decoder协同训练的端到端网络。传统Seq2seq的Encoder以RNN为基础单元，把输入序列整合为一个content向量；Decoder同样以RNN为基础单元，把content向量拆解为输出序列。显然，content向量决定了Decoder可知的信息量，进而决定了输出序列的质量。由于RNN的时序串行结构，Encoder更关注位于输入序列末尾的元素，使得content向量“遗忘”了位于输入序列前端的元素。反之，如果把RNN的所有隐层输出一同送入Decoder，又显得过于臃肿(计算量大)。如今我们常把Seq2seq和Attention联系在一起，也正是因为Attention帮助Seq2seq解决了上述问题。[1] 引用[3]:加入Attention后，content向量在任意时刻是变化的。那么如何计算第 i 时刻content向量？ 先计算Decoder的RNN隐层状态 H i − 1 H_{i-1} Hi−1​ 和Encoder中所有RNN隐层状态 h 1 , h 2 , . . . , h j {h_1, h_2, ..., h_j} h1​,h2​,...,hj​ 的Attention得分；Attention得分是第 i i i 时刻的输出单词 y i y_i yi​ 与所有输入单词 x 1 , x 2 , . . . , x j {x_1, x_2, ..., x_j} x1​,x2​,...,xj​ 的对齐可能性；再以Attention得分为权重，对所有 h 1 , h 2 , . . . , h j {h_1, h_2, ..., h_j} h1​,h2​,...,hj​ 加权平均，得到第 i i i 时刻的content向量。[3] 问题: seq2seq attention时序 回答: 在Seq2seq中引入Attention后，content向量在任意时刻是变化的。计算第i时刻的content向量的过程是先计算Decoder的RNN隐层状态和Encoder中所有RNN隐层状态的Attention得分，Attention得分是第i时刻的输出单词与所有输入单词的对齐可能性；然后以Attention得分为权重，对所有Encoder中的隐层状态进行加权平均，得到第i时刻的content向量。[3]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值