【论文阅读】Neural Machine Translation By Jointly Learning To Align and Translate

最新推荐文章于 2021-02-21 17:11:24 发布
最新推荐文章于 2021-02-21 17:11:24 发布
阅读量1.4w 收藏 12
点赞数 2
分类专栏： nlp 相关论文 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hackerzer/article/details/73196290
版权
本文介绍了在神经网络编码-解码RNN基础上的机器翻译模型，通过加入注意力机制，允许模型在预测目标词时选择源语言的相关部分作为输入。此模型在英法语翻译任务上超越了基于短语的翻译系统，是注意力机制的早期应用。
摘要由CSDN通过智能技术生成

Neural Machine Translation By Jointly Learning To Align and Translate

二作与三作 Universite de Montreal 鼎鼎有名的蒙特利尔大学，最后一位 Yoshua Bengio.

该文章的引用量： 1478

github 传送门 ： https://github.com/lisa-groundhog/GroundHog

这篇文章在神经网络 采用编码-解码RNN 做端到端的机器翻译的基础上，使得模型可以在预测下一个词的时候，自动地选择原句子相关的部分作为解码的输入，这也是后来被提为attention机制的内容。该模型的性能在英法语数据的评测上超过了当前使用基于短语的机器翻译系统。

饮水思源，RNN encode-decode的模型架构是由文献[1]

[1] Neural Machine Translation By Jointly Learning To Align and Translate

二作与三作 Universite de Montreal 鼎鼎有名的蒙特利尔大学，最后一位 Yoshua Bengio.

该文章的引用量： 1478

这篇文章在神经网络 采用编码-解码RNN 做端到端的机器翻译的基础上，使得模型可以在预测下一个词的时候，自动地选择原句子相关的部分作为解码的输入，这也是后来被提为attention机制的内容。该模型的性能在英法语数据的评测上超过了当前使用基于短语的机器翻译系统。

饮水思源，RNN encode-decode的模型架构是由文献[1][2][3],这三篇文章也都是由机器翻译方面的学者提出来的。编码解码࿰

最低0.47元/天 解锁文章
[论文翻译]NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
日积月累，天道酬勤
02-23 1275
Attention应用在NLP领域经典论文翻译。
论文阅读：《Neural Machine Translation by Jointly Learning to Align and Translate》
05-31 1万+
神经机器翻译是最近提出的机器翻译方法。与传统的统计机器翻译不同，神经机器翻译的目标是建立一个单一的神经网络，可以共同调整以最大化翻译性能。最近提出的用于神经机器翻译的模型经常属于编码器 - 译码器族，并且将源句子编码成固定长度的矢量，解码器从该矢量生成翻译。在本文中，我们推测使用固定长度向量是提高这种基本编码器 - 解码器架构性能的瓶颈，并且建议通过允许模型自动（软）搜索零件来扩展它的源句子与预测目标词相关，而不必将这些部分明确地形成为硬分段。
Neural Machine Translation by Jointly Learning to Align and Translate.pdf
06-19
机器翻译 第一篇加上attention的模型
Neural machine translation by joinly learning to align and translate
qq_44655971的博客
10-13 139
基本的encoder–decoder对长句子的翻译很困难。 本文提出不再把源句子encode成一个固定长度的向量，而是encode成a sequence of vectors，decode的时候选择这些向量的子集。任何长度的句子翻译都有提升，尤其是长句子。 ...
论文笔记(attention 1)----NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
hx14301009的博客
05-25 2078
1. weakness of simple RNNenc Architecture    传统的neural machine translation 大都是基于encoder-decoder模型，即通过一个encoder将源句子编码成一个固定长度的向量表示，再使用decoder将这个向量作为输入，然后获得输出。这样的话，Encoder需要将整个句子编码到一个固定长度的向量，如果句子长度不大，还OK...
NMT十篇必读论文（四）Neural Machine Translation by Jointly Learning to Align and Translate
啊噗啊噗
01-07 756
清华大学NLP整理的神经机器翻译reading list中提到了十篇必读论文 https://github.com/THUNLP-MT/MT-Reading-List   此篇是Bahdanau首先在NLP领域提出attention机制的论文，具有重要意义 可以参考：  https://blog.csdn.net/weixin_40240670/article/details/812248...
Neural Machine Translation by Jointly Learning to Align and Translate阅读笔记
01-06
Neural Machine Translation by Jointly Learning to Align and Translate 论文信息 ICLR2015 个人解读 Wang Anna & Hytn Chen 更新时间 2020-02-13 机器翻译简介 1980，基于规则的翻译，大致流程就是...
论文阅读《NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE》
Answer3664的博客
09-13 726
Abstract 这篇论文第一次运用注意力机制（Attention）解决机器翻译中的问题。和传统的统计机器翻译（SMT）不同，神经机器翻译（NMT）旨在构建一个神经网络来提高翻译性能。最近（2016）提出的NMT模型都是基于编码器和解码器：将源语言编码成一个定长向量（fixed-length vector），然后用解码器生成目标语言。这篇论文假设将源语言编码成定长向量是提高翻译性能的瓶颈，提出了...
[论文阅读]Neural Machine Translation By Jointly Learning to Align and Translate
ZY_miao的博客
10-31 1501
文章目录前言摘要一、神经机器翻译1、机器翻译2、基于RNN的Encoder-Decoder架构二、文章贡献三、模型架构1.译码器：整体概述2.编码器：用于注释序列的双向RNN四、实验设置五、代码实现六、结果分析总结 前言 论文名：Neural Machine Translation By Jointly Learning to Align and Translate 论文作者：Dzmitry Bahdanau et.al. 期刊/会议名：ICLR 2015 本文作者：XMU_MIAO 摘要   神经机器翻
Neural Machine Translation by Jointly Learning to Align and Translate
weixin_37958272的博客
07-08 273
Neural Machine Translation by Jointly Learning to Align and Translate 3 学习对齐和翻译 3.1解码器 Si是decoder的在i时刻的隐状态 应该注意的是，与现有的编码器-解码器方法不同 ，这里概率取决于每个目标词yi的上下文向量ci。上下文向量ci依赖于一系列注释 h1,...,hTxh_1,...,h_{T_x}h1​,...,hTx​​（encoder的一系列隐状态） 每个注释hi包含关于整个输入序列的信息，重点关注围绕输入序
Neural machine translation by jointly learning to align and translate
03-22
Neural machine translation by jointly learning to align and translate
【论文泛读】4. 机器翻译：Neural Machine Translation by Jointly Learning to Align and Translate
⛄
02-21 487
更新进度：■■■■■■■■■■■■■■■■■■■■■■■|100%
NLP paper精读（二）——NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
NLP翟
06-13 628
神经机器翻译引言 本文是对2016年发表的论文《NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE》简要概述。 该论文主要是最早将Attention Model 引入Encoder-Decoder框架。 引言 神经机器翻译试图建立和训练一个单一的，大的神经网络，读取一个句子，并输出正确的翻译。 目前大部分提出的...
NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE翻译
nopSled
08-11 481
摘要 神经机器翻译是一种最近被提出的用于进行机器翻译的方法。不像传统的统计机器翻译，神经机器翻译的目的是构建可以联合调整以最大化翻译性能的单个神经网络。最近提出的用于神经机器翻译的模型通常属于编码器-解码器类型，该类型将源句子编码为固定长度的向量，解码器根据该向量生成翻译。在本文中，我们假设使用固定长度向量是提高此编码器-解码器体系结构性能的瓶颈，并提出通过允许模型自动搜索与预测目标词相关的源句子的部分来扩展此模型，而不必明确地将这些部分构建成为一个固定分段的形式。通过这种新方法，我们在英语到法语翻译任务上
Neural Machine Translation by Jointly Learning to Align and Translate 学习笔记
Doron15的博客
08-20 1633
Neural Machine Translation by Jointly Learning to Align and Translate 学习笔记 本文就Neural Machine Translation by Jointly Learning to Align and Translate 一文进行学习总结，有何不妥的地方，烦请各位指正。 Neural Machine Translat...
Neural Machine Translation by Jointly Learning to Align and Translate论文及代码助解
jiuweideqixu的博客
11-05 1476
我们现在来实现Neural Machine Translation by Jointly Learning to Align and Translate中的模型。 一、常规的编码器-解码器模型     作为提醒，下图是常规的编码器-解码器模型： 二、先前的模型     在先前的模型中，我们的体系结构是通过在每个time-step显式地将context向量( 即z )传递给解码器(对应于上图中粉色的方块)。接着①context向量(z)②embbedded input word（ 即d(yt) ）(图中棕
【论文笔记】Neural Machine Translation by Jointly Learning to Align and Translate
热门推荐
人间不值得
11-05 1万+
Neural Machine Translation by Jointly Learning to Align and Translate  --这篇论文算是在自然语言处理(NLP)中或是encoder-decoder中第一个使用attention机制的工作，将attention机制用到了神经网络机器翻译(NMT) 。 Abstract  神经机器翻译是最近提出的一种机器翻译的方法。不像传统...
论文阅读：Neural Machine Translation By Jointly Learning To Align And Translate
Jeremy_lf的博客
11-28 1639
题目：Neural Machine Translation By Jointly Learning To Align And Translate 作者：Dzmitry Bahdanau，KyungHyun Cho， Yoshua Bengio∗ 论文地址：https://arxiv.org/abs/1409.0473 1、Introduction 神经机器翻译是机器翻译的一种新兴方法，最近由Kal...
attention注意力机制是什么时候由谁提出的
最新发布
06-12
- 2014年，Google的研究人员Dzmitry Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》中，首次将注意力机制引入到机器翻译模型中。 - 2015年，微软研究院的研究人员Xu...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>