【论文笔记】Sequence to Sequence Learning with Neural Networks

最新推荐文章于 2024-07-11 09:23:29 发布
最新推荐文章于 2024-07-11 09:23:29 发布
阅读量6.7k 收藏 26
点赞数 6
分类专栏： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20135597/article/details/83382372
版权
本文提出了使用LSTM的端到端序列学习方法，解决了序列映射到序列的问题。通过一个LSTM读取输入序列得到固定维度向量，再用另一个LSTM从向量解码出目标序列，尤其适合处理长句子。实验表明，深层LSTM模型在长句子翻译任务中表现优秀，且能够学习到输入序列的语义表示。
摘要由CSDN通过智能技术生成

Sequence to Sequence Learning with Neural Networks

 

        Abstract：DNN可以在有大量标记训练集下表现很好，但是无法处理用于序列映射到序列。在本文中，我们提出了一种端到端的序列训练方法，可以对序列结构做最小的假设。我们的方法使用了多层LSTM将输入序列映射成一个固定维度的向量，然后用另一个深度LSTM从向量中解码出目标序列。

1  Introduction

1）DNN功能强大：DNN在语音识别和视觉目标检测等困难领域都有很好的表现。DNN功能强大，可以执行任意数量的并行计算。只要有足够的标记训练集来指定网络参数，就可以用监督反向传播来训练大型DNN。因此，如果存在一个参数设置能使大型DNN网络能获得良好结果，那么监督反向传播将找到这些参数并解决这个问题

2）DNN'只能用于输入和输出可以用固定维度进行编码的问题：这是一个重要的限制，因为很多重要问题最好用一些未知长度的序列表示。比如语音识别和机器翻译是顺序问题。问答系统也类似。

3）本文使用一种LSTM的结构来解决一般的seq到seq的问题：一个LSTM用来读取输入序列，一次一个时间步，用来获得大的固定维度向量表示；另一个LSTM从向量中提取输出序列。第二个LSTM实质上是循环神经网络模型，只是它的输入序列是有条件的。

4）为解决一般的seq到seq的问题，已有很多相关的尝试：略

最低0.47元/天 解锁文章
我从崖边跌落
关注
  • 6
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[论文翻译]Sequence to Sequence Learning with Neural Networks
日积月累，天道酬勤
01-08 2177
seq2seq论文翻译。
深度学习 | 编码器-解码器网络、seq2seq模型、束搜索算法
"You are worthy! You can do it!"
12-31 2830
定义编码器self.embedding = nn.Embedding(vocab_size, ebd_size, padding_idx=3) # 将token表示为embedding# encoder_inputs从(batch_size, seq_len)变成(batch_size, seq_len, emb_size)再调整为(seq_len, batch_size, emb_size)
Sequence to Sequence Learningwith Neural Networks
最新发布
2302_79085918的博客
07-11 555
深度神经网络（DNN）非常强大，可以在困难的学习任务上取得非常优异的性能。尽管只要有大型标记训练集可用。DNN存在缺陷：不能用于将序列映射到序列。一种通用的端到端序列的学习方法，该方法对序列结构做出最少的假设，使用多层长短期记忆（LSTM）将输入序列映射到固定维度的向量，然后使用另一个深度LSTM从向量解码目标序列。结果：从WMT'14数据集的英语到法语翻译任务中，LSTM生成的翻译在整个测试集上的BLEU（评估质量）得分为34.8。
Sequence to Sequence Learning with Neural Networksv论文
04-17
Sequence to Sequence Learning with Neural Networksv论文PDF版
Sequence to Sequence Learning with Neural Networks
种花家的奋斗兔的博客
09-08 1177
论文地址：https://arxiv.org/abs/1409.3215 参考译文：https://blog.csdn.net/qq_28385535/article/details/86421359 参考笔记：1.https://blog.csdn.net/qq_35647180/article/details/53576809 2.https://bl...
Sequence to Sequence Learningwith Neural Network
kuxingseng123的博客
10-16 922
慢慢斟酌，将LSTM慢慢地将其搞定都行啦的样子与打算。 全部都慢慢的不断打磨和学习。
Sequence to Sequence Learning with Neural Networks，从RNN开始
Duncan_yitong的博客
11-26 1144
Sequence to Sequence Learning with Neural Networks，从RNN开始 ***Sequence to Sequence Learning with Neural Networks***这篇文章是Google在2014年发表的较早的使用了Seq2Seq结构的文章，实现了从输入序列映射到不等长的输出序列的学习，在机器翻译的任务中，取得了非常好的成绩。作者首先...
Sequence to Sequence Learning with Neural Networks翻译
zhu_zhu_zhu_zhu_zhu的博客
07-04 989
由于最近学习的需要，对论文《Sequence to Sequence Learning with Neural Networks》进行了不地道的翻译，翻译存在许多问题，因此仅供自己参考。也希望大家在留言中提出意见，我会认真修改。 翻译全文如下： 利用神经网络进行序列到序列的学习 摘要 深度神经网络(DNNs)是一种功能强大的神经网络模型，在复杂的学习任务中取得了优异的性能。尽管当有大量标记...
sequence-to-sequence learning
12-18
机器学习之sequence to sequence learning。（Sequence Generation-----Hung-yi Lee 李宏毅.ppt）
[论文笔记]Sequence to Sequence Learning with Neural Networks
上善若水
09-09 797
本文主要是记录一下研究生阶段看的第一篇论文，这是一篇Google发表在14年的论文，介绍了现在被广泛使用的Sequence to Sequence模型，参考了网上的一些论文笔记。 论文结构 摘要 论文主要内容 总结 1. 摘要 深度神经网络DNN已经被证明是一个很好的工具在处理复制问题时有很好表现效果的工具，同时他也有自己的缺点，即需要大量的标注数据且不能处理序列到序列的映射。于是作者提出了...
【论文向】Sequence to Sequence Learning with Neural Networks
阿芒Aris的博客
11-07 5707
【论文向】ACL2014-seq2seq 神作 1. 模型对句子的主动与被动语态并不敏感，但是对输入词的顺序很敏感 2. 倒序输入句子能提升模型效果，很神奇:)
【论文阅读】Sequence to Sequence Learning with Neural Networks
u013914391的博客
08-05 1132
看论文时查的知识点 前馈神经网络就是一层的节点只有前面一层作为输入，并输出到后面一层，自身之间、与其它层之间都没有联系，由于数据是一层层向前传播的，因此称为前馈网络。 BP网络是最常见的一种前馈网络，BP体现在运作机制上，数据输入后，一层层向前传播，然后计算损失函数，得到损失函数的残差，然后把残差向后一层层传播。 卷积神经网络是根据人的视觉特性，认为视觉都是从局部到全局认知的，因此不全部采用...
《Sequence to Sequence Learning with Neural Networks》论文笔记
dingyi5625的博客
02-05 584
机器翻译论文笔记 （Sequence to Sequence Learning with Neural Networks） 一.摘要 此论文中，实现机器翻译的核心模型是长短期记忆神经网络(Long Short-Term Memory, LSTM)，首先通过一个多层的LSTM将输入的语言序列（下文简称源序列）转化为一个特定维度的向量，然后另一个深层LSTM根据此向量编译...
论文学习笔记03（Sequence to Sequence Learning with Neural Networks）
Xiao_yanling的博客
04-14 373
Sequence to Sequence Learning with Neural Networks 1.模型 2.模型优点，克服了什么局限 （1）DNNs适用于输入和输出的向量的维度已经固定的问题，但sequence2sequence的翻译，输入和输出的句子的长度是不一定的。论文提出的模型克服了这个局限性（通过input->vector->output的形式） （2）LSTM很适...
[2014]Sequence to Sequence Learning with Neural Networks
Deep Learning and NLP Farm
09-20 750
之所以看这篇文章是因为很多文章都引用了，后知后觉的发现原来是sequence to sequence的经典之作，以非常虔诚的态度读了一遍。 之前RNN解决的问题：（单个RNN解决此问题） 输入序列和输出序列长度一致，比如词性标注，命名实体识别等等， 此类问题单个RNN即可解决，输出序列和输入序列对应 但是还有另一类问题：（本文致力于解决的问题） 输入序列的长度和输出的序列不一定长度相同，比如
Sequence to Sequence Learning with Neural Networks给我讲一下
05-05
Sequence to Sequence Learning with Neural Networks是一种深度学习方法，可用于将输入序列映射到输出序列。 它通常用于处理NLP任务，如机器翻译，自动摘要等。这种方法将输入序列编码为一个固定长度的向量，然后将该向量解码为输出序列。 这种方法使用类似于自动编码器的神经网络，但它具有两个不同的RNN模型，一个用于编码输入，另一个用于解码输出。这些模型通常使用长短时记忆网络（LSTM）或门控循环单元（GRU）来捕捉序列中的信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值