论文笔记《Neural Machine Translation by Jointly Learning to Align and Translate》

最新推荐文章于 2021-07-26 22:33:44 发布
最新推荐文章于 2021-07-26 22:33:44 发布
阅读量873 收藏 8
点赞数 2
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37098526/article/details/92844174
版权
中文题名：基于联合学习对齐和翻译的神经机器翻译目录摘要背景：神经机器翻译任务定义编码器-解码器框架（基线）编码器（基线）解码器（基线）模型效果存在的问题学习对齐和翻译RNNenc vs RNNsearchRNNsearch的编码器RNNsearch的解码器注意力思想注意力机制RNNsearch模型的解码器的计算步骤RNNsearc...
摘要由CSDN通过智能技术生成

中文题名：基于联合学习对齐和翻译的神经机器翻译

目录

摘要

背景：神经机器翻译

任务定义

编码器-解码器框架（基线）

编码器（基线）

解码器（基线）

模型效果

存在的问题

学习对齐和翻译

RNNenc vs RNNsearch

RNNsearch的编码器

RNNsearch的解码器

注意力思想

注意力机制

RNNsearch模型的解码器的计算步骤

RNNsearch模型

实例

实验设置和结果

实验设置

评估标准——Bleu

模型效果

实验结果分析

未来工作

  • 摘要

  1. 神经机器翻译的任务定义
  2. 传统神经机器翻译所用的编码器-解码器模型的缺陷
  3. 本文提出一种能够自动搜索原句中与预测目标词相关的神经机器翻译模型
  4. 所提出的模型的效果

 

  • 背景：神经机器翻译

任务定义

该模型采用1到K编码的字向量的源语言句子作为输入：x=(x_{1},...,x_{T_{x}}),x_{i}\in\mathbb{R}^{K_{x}}

并输出由1到K编码的字向量的目标语言句子：y=(y_{1},...,y_{T_{y}}),y_{i}\in\mathbb{R}^{K_{y}}

任务目标：评估函数argmax_{y}p(y|x)

编码器-解码器框架（基线）

模型名称：RNNenc

编码器（基线）

x=(x_{1},...,x_{T_{x}})：表示一个输入句子的序列

h_{t}=f(x_{t},h_{t-1})：表示编码器的隐层状态

c=q(\left \{ h_{1},...,h_{T_{x}} \right \})：表示由句子序列的隐层状态生成的上下文向量

编码器读取输入句子序列x，生成一个上下文向量c

解码器（基线）

y=(y_{1},...,y_{T_{y}})：表示一个生成句子的序列

s_{t}=f(c,y_{t-1},s_{t-1})：表示解码器的隐层状态

解码器是用来在给定上下文向量c和所有之前的预测词\left \{ y_{1},...,y_{​{t}'-1} \right \}时预测下一个词

最低0.47元/天 解锁文章
韩明宇
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Neural Machine Translation by Jointly Learning to Align and Translate.pdf
06-19
机器翻译 第一篇加上attention的模型
神经网络端到端序列学习（一）
丁丁的博客
11-26 1万+
许多重要问题都可以抽象为变长序列学习问题（sequence to sequence learning），如语音识别、机器翻译、字符识别。这类问题的特点是，1) 输入和输入都是序列（如连续值语音信号/特征、离散值的字符），2) 序列长度都不固定，3)并且输入输出序列长度没有对应关系。因此，传统的神经网络模型（DNN， CNN， RNN）不能直接以端到端的方式解决这类问题的建模和学习问题。解决变长序列的
Neural Machine Translation by Jointly Learning to Align and Translate
weixin_37958272的博客
09-01 1301
Neural Machine Translation by Jointly Learning to Align and Translate 神经机器翻译是最近提出的一种机器翻译方法。与传统的统计机器翻译不同，神经机器翻译的目的是建立一个单一的神经网络，可以共同调整，使翻译性能最大化。最近提出的神经机器翻译的模型通常属于编码器-解码器家族，并将源句编码成一个固定长度的向量，解码器从中生成译文。在本文中，我们猜测使用固定长度的向量是提高这种基本编码器-解码器架构性能的瓶颈，并提出通过允许模型自动（软）搜索源句中
NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE-论文翻译
AiBigData的博客
07-26 2456
NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE 摘要 神经系统的机器翻译是一个最近被提出到机器翻译的方法。不像传统的统计机器翻译模型，神经系统翻译目的在于创建一个单神经网络，这个网络能被共同调整最大化机器翻译性能。 最近提出用于神经机器翻译的模型通常属于编码器-解码器家族，并将源句子编码到一个固定长度的向量，这个向量是通过解码器生成翻译。在这篇论文中，我们猜想使用一个固定长度向量是一个瓶颈，在提高以编码器-解码器为基
(26)[ICLR15] NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
gdtop的个人笔记
03-22 1260
计划完成深度学习入门的126篇论文第二十六篇，蒙特利尔大学的KyungHyun Cho和Yoshua Bengio领导研究的新的机器翻译的方法JOINTLY LEARNING TO ALIGN AND TRANSLATE。 ABSTRACT&INTRODUCTION 摘要 神经机器翻译是近年来提出的一种机器翻译方法。与传统的统计机器翻译不同，神经机器翻译的目的是建立一个单一的神经网络...
【论文笔记】Neural Machine Translation by Jointly Learning to Align and Translate
人间不值得
11-05 1万+
Neural Machine Translation by Jointly Learning to Align and Translate  --这篇论文算是在自然语言处理(NLP)中或是encoder-decoder中第一个使用attention机制的工作，将attention机制用到了神经网络机器翻译(NMT) 。 Abstract  神经机器翻译是最近提出的一种机器翻译的方法。不像传统...
Neural Machine Translation by Jointly Learning to Align and Translate阅读笔记
01-06
Neural Machine Translation by Jointly Learning to Align and Translate 论文信息 ICLR2015 个人解读 Wang Anna & Hytn Chen 更新时间 2020-02-13 机器翻译简介 1980，基于规则的翻译，大致流程就是...
Neural machine translation by jointly learning to align and translate
03-22
Neural machine translation by jointly learning to align and translate
大模型系统论文与教程.rar
最新发布
09-02
(1) Neural Machine Translation by Jointly Learning to Align and Translate (2014) by Bahdanau, Cho, and Bengio, https://arxiv.org/abs/1409.0473 建议从上面的论文开始阅读。它介绍了一种注意力机制，用于...
neural machine translation by jointly learning to align and translate
weixin_44429447的博客
08-19 765
1.论文出处 Dzmitry Bahdanau, KyungHyun Cho, Yoshua Bengio, “neural machine translation by jointly learning to align and translate”, 3rd International Conference on Learning Representations, ICLR 2015 下面说下为什么看这个论文吧，其实这个是看LAS的论文，感觉理解没那么透彻，所以才来看这个论文的，理论是一样的，但是这里写
深度学习笔记(六)：Encoder-Decoder模型和Attention模型
热门推荐
Multiangle's Notepad
10-15 12万+
这两天在看attention模型，看了下知乎上的几个回答，很多人都推荐了一篇文章Neural Machine Translation by Jointly Learning to Align and Translate 我看了下，感觉非常的不错，里面还大概阐述了encoder-decoder(编码)模型的概念，以及传统的RNN实现。然后还阐述了自己的attention模型。我看了一下，自己做了一些摘
NLP paper精读（二）——NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
NLP翟
06-13 493
神经机器翻译引言 本文是对2016年发表的论文《NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE》简要概述。 该论文主要是最早将Attention Model 引入Encoder-Decoder框架。 引言 神经机器翻译试图建立和训练一个单一的，大的神经网络，读取一个句子，并输出正确的翻译。 目前大部分提出的...
[论文翻译]NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
日积月累，天道酬勤
02-23 1082
Attention应用在NLP领域经典论文翻译。
神经机器翻译RNNsearch(论文Neural Machine Translation by Jointly Learning to Align and Translate) 学习笔记
stu14jzzhan的博客
06-14 2171
Neural Machine Translation by Jointly Learning to Align and Translate 学习笔记 引言 传统的基于短语的翻译系统, 是由很多孤立的子成份构成的,而神经机器翻译试图构建一个简单高效的的神经网络，其输入和输出都为句子。 Encoder-Decoder的网络模型首先对源句子进行编码, 得到一个fixed-length的向量, 然后再...
RNN Encoder-Decoder翻译
nopSled
12-07 1230
在这篇文章中，我们将描述在实验中所使用的RNN编码器-解码器在结构上的细节。其中，以GRU为隐藏单元 　　我们令源短语为X=(x1,x2,...,xN)X=(x_1,x_2,...,x_N)X=(x1​,x2​,...,xN​)，目标短语为Y=(y1,y2,...,yM)Y=(y_1,y_2,...,y_M)Y=(y1​,y2​,...,yM​)。每个短语是一个由K维one-hot向量组成的序列，...
论文笔记：GRU----RNN Encoder-Decoder
hx14301009的博客
05-25 5054
<<Learning Phrase Representations using RNN Encoder–Decoderfor Statistical Machine Translation>>这篇论文在传统的Encoder-Decoder模型上使用RNN，模型结构如下：看图就知道要说什么了，亮点在于文章对隐层节点的创新：先回顾下传统的 naive RNN：看图就行，不多说。...
Seq2Seq系列（一）：RNN Encoder-Decoder
myofficials的博客
01-12 3240
系列介绍 最近看了一些Seq2Seq模型的文章。东西看杂了容易忘记，花点时间简单的整理一下。 这个Seq2Seq系列主要梳理关于Seq2Seq模型的几篇重要的文章的模型，分为三个内容分别是：Encoder-Decoder， Sequence to Sequence 和 attention mechanism. 三个系列的文章列举如下： Seq2seq系列（一）：RNN Encoder-D
Neural Machine Translation（NMT）技术概述
guoyuhaoaaa的博客
02-11 7770
在神经网络语言模型处理NLP领域，我做的研究一直都和文本分类相关，其实还有很多其他的应用领域，比方说：语言翻译、词性标注、命名实体识别等。感觉还是有必要了解一下如何用神经网络语言模型对这些应用进行建模的。因此，这几天看了几篇有关Neural Machine Translation（NMT）的论文，对这个领域基本有了比较全面、正确的认识。在这个过程中，正好学习了业界最流行的attention思想，下面
Counterfactual Data Augmentation for Neural Machine Translation的主要方法
06-11
Counterfactual Data Augmentation for Neural Machine Translation 的主要方法是通过反事实数据增强来改善神经机器翻译模型的性能。具体来说，该方法通过对源语言句子进行随机替换或删除等操作，生成一些与原始句子...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值