Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation文献阅读笔记

最新推荐文章于 2022-04-23 20:53:28 发布
VIP文章 最新推荐文章于 2022-04-23 20:53:28 发布
阅读量215 收藏 3
点赞数 1
分类专栏： 文献阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NINJA_xu/article/details/118087618
版权

发表日期、所属会议/期刊/预印本:

arXiv 2014

做得什么:

本文提出了一种新的神经网络模型，即RNN Encoder-Decoder， 由两个神经网络（RNN）组成。一个RNN将一个符号序列（sequence of symbols）编码成一个固定长度的向量表示，另一个则将这个表示解码成另一个符号序列。该模型的编码器和解码器被联合训练，以最大化给定源序列的目标序列的条件概率。对学习语言短句的表达且其在语义上和句法上都是有意义的。

怎么做的（重点):

  • 循环神经网络(RNN)

循环神经网络（RNN）是一个包含隐藏状态h和可变输出y的神经网络，其可操作于可变长度序列x =(x1,…,xT).。在每个时间步长t，f 是非线性激活函数，RNN的隐藏状态更新:在这里插入图片描述
通过训练预测序列中的下一个symbol，RNN可以学习序列上的概率分布。在这种情况下，每个时间步长t的输出是条件分布 p(xt|xt−1,…,x1)。例如，对于所有 j=1,…,K，可以使用softmax激活功能输出多项式分布（1-K编码）：
在这里插入图片描述
计算序列x的概率，每个时间步长迭代采样符号来直接抽样新序列：

最低0.47元/天 解锁文章
NINJA_xu
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Paper Notes] Learning Phrase Representations using RNN Encoder-Decoder
Young, Simple, Naive
03-31 349
Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation Abstract 提出了Encoder-Decoder结构，包含两个RNN 其中一个将序列编码为固定长度的向量表示 Decoder将向量解码为目标序列 两个RNN是联合训练的，训练目标是给定源序列的情况下，最大化目标序列的条件概率。 在已有的log-linear翻译模型中使用Encoder-Decoder计算出来的条件概率
Learning Phrase Representations using RNN Encoder–Decoder
03-07
Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
weixin_39012047的博客
11-16 746
摘要：在本文中，我们提出了一种新的神经网络模型，称为RNN编码器 - 解码器，由两个递归神经网络（RNN）组成。一个RNN编码器将特征编码为一个固定长度的向量，另一个解码器解码这个向量为另一个符号序列。联合训练所提出的模型的编码器和解码器以最大化给定源序列的目标序列的条件概率。通过使用由RNN编码器 - 解码器计算的短语对的条件概率作为现有对数线性模型中的附加特征，相较于统计机器翻译系统的性能得到...
Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Transl…_2014【NMT】
R
08-27 814
文章目录
2014-Learning Phrase Representations using RNN Encoder–Decoder
LuckSugar
07-23 668
2014-Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation Kyunghyun Cho、Dzmitry Bahdanau、Fethi Bougares Holger Schwenk、Yoshua Bengio 论文连接 Abstract ​ 在本文中，我们提出了一种新颖的神经网络模型，称为RNN编码器-解码器，它由两个递归神经网络（RNN）组成。一个RNN将符号序列
Learning Phrase Representations using RNN Encoder–Decoderfor Statistical Machine Translation翻译
zhu_zhu_zhu_zhu_zhu的博客
07-04 1396
由于最近学习的需要，对论文《Learning Phrase Representations using RNN Encoder–Decoderfor Statistical Machine Translation》进行了不地道的翻译，翻译存在许多问题，因此仅供自己参考。也希望大家在留言中提出意见，我会认真修改。 翻译全文如下： 使用RNN编码器 - 解码器学习短语表示以进行统计机器翻译 摘要...
论文研究-A New Reordering Model for Phrased Based Statistical Machine Translation.pdf
08-16
短语统计机器翻译模型的一种新的调序模型，史晓东，陈毅东，在统计机器翻译中，尤其是基于短语的统计翻译模型中，调序模型起着关键作用。然而，当前词汇化的调序模型存在两个问题：其一，仅
Feature Engineering for Machine Learning
08-31
With this practical book, you’ll learn techniques for extracting and transforming features—the numeric representations of raw data—into formats for machine-learning models. Each chapter guides you...
Encoder-Decoder①
最新发布
11-10
Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
Learning representations by back propagating errors(1985)
02-06
BP算法的经典文章。反向传播算法最早于上世纪70年代被提出，但是直到1986年，由David Rumelhart, Geoffrey Hinton, 和Ronald Williams联合发表了这篇论文之后，人们才完全认识到这个算法的重要性。
NiuTrans.SMT：NiuTrans.SMT是由NLP Lab的一个联合团队开发的开源统计机器翻译系统。 在东北大学和NiuTrans团队。 NiuTrans系统是完全用C ++语言开发的。 因此它运行速度快，占用的内存更少。 目前，它支持基于短语，基于分层短语和基于语法（字符串到树，树到字符串和树到树）的模型，用于面向研究的研究
02-04
NiuTrans.SMT：统计机器翻译系统NiuTrans.SMT是由自然语言处理实验室的联合团队开发的开源统计机器翻译系统。 在东北大学和YaTrans Co.，Ltd。 NiuTrans.SMT系统是完全用C ++语言开发的。 因此它运行速度快，占用的...
翻译：Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
新垣结衣法定男友的博客
08-01 7957
使用RNN Encoder-Decoder模型学习统计机器翻译的短语表示 原文：《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》 原作者：Kyunghyun Cho 等 注：本文是较早提出seq2seq模型的经典论文，翻译一下大家共同学习 本
Learning Phrase Representations using RNN Encoder–Decoder for...
weixin_34219944的博客
08-01 256
本篇将分享的文章相比于昨天那篇Sequence to Sequence Learning with Neural Networks更早地使用了seq2seq的框架来解决机器翻译的问题，可能上一篇来自于Google，工程性更强一些，学术性有一些不足。本文来自于学术机构，学术范更浓一些。本文的题目是Learning Phrase Representation...
视频去模糊论文阅读-Learning Blind Motion Deblurring
wwb12138的博客
04-23 2137
论文地址：http://openaccess.thecvf.com/content_ICCV_2017/papers/Wieschollek_Learning_Blind_Motion_ICCV_2017_paper.pdf 代码地址：https://github.com/cgtuebingen/learning-blind-motion-deblurring
论文笔记：Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
MirrorN的博客
10-10 1425
论文学习：Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation 这篇论文算是 Seq2Seq（Sequenc to Sequence） 的经典论文了。文中提出了一种新的RNN模型结构用于机器翻译等工作，此外，作为LSTM单元的变种和简化版本 GRU 单元也是在文章中...
[论文翻译]Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
日积月累，天道酬勤
03-04 858
引言 又为大家带来一篇经典论文的翻译，不过由于最近忙于找工作，所以本文只翻译了核心的部分，未完待续，有时间会补全的。 摘要 在本文中，我们提出了一个新的神经网络模型，叫RNN编码器-解码器模型，它包含两个RNN。一个RNN编码符号序列到定长向量，另一个解码该向量到另一个符号序列。编码器和解码器是同时训练的以最大化给定源序列时目标序列的条件概率。在现存的对数线性模型中通过RNN编码器-解码器计算短语对的条件概率作为一个额外的特征，我们发现可以提升统计机器翻译系统的表现。我们定性地展示提出的模型可以学会语义和句
论文笔记：Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
想变有趣的EMMA
03-10 3645
Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation 这篇论文是为解决natural language processing (NLP)领域的问题。 应用RNN encoder-decoder技术进行静态机器翻译（英语–>法语 -_-,作为中国人，我总以为会转换成
可以推荐几篇关于RNN的文献吗
04-18
Learning phrase representations using rnn encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078. 4. Mikolov, T., Karafiát, M., Burget, L., Černockỳ, J., & Khudanpur,...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值