Neural-Machine-Translation-by-Jointly-Learning-to-Align-and-Translate笔记

最新推荐文章于 2021-07-05 21:11:28 发布
最新推荐文章于 2021-07-05 21:11:28 发布
阅读量229 收藏
点赞数
分类专栏： attention 自然语言处理 论文笔记 文章标签： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Zjhao666/article/details/100170070
版权

时间步i

yi 目标单词

si  RNN隐含层状态

ci 上下文向量

x 输入单词词向量

最大化条件概率

其中si由生成。

 

hj 单词j的注释（词向量）

a 前向神经网络

上下文语境向量ci生成方式

  1.  时间步i单词j生成的概率
  2.  对eij进行softmax
  3.  上下文语境向量
Zjhao666
关注
专栏目录
[论文翻译]NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
日积月累，天道酬勤
02-23 1175
Attention应用在NLP领域经典论文翻译。
NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
冲冲冲
02-26 985
《Neural Machine Translation By Jointly Learning To Align And Translate》 通过标齐和翻译的联合学习实现神经机器翻译 1.背景 传统的编码器-解码器结构的神经机器翻译中，将句子的所有信息压缩到一个固定长度的向量中，当这个句子很长时，就会导致信息的丢失，也就是一个固定长度的向量不能很好表示句子的信息。这篇论文中通过注意
Paper Reading: Neural Machine Translation by Jointly Learning to Align and Translate
weixin_30651273的博客
04-21 108
这篇文章是论文"NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE"的阅读笔记，这是2015年发表在ICLR的一篇文章。 ABSTRACT NMT(neural machine translation)是个很多人研究过的问题，最近也突破很多。 回到这篇论文，当时解决NMT问题的做法主要是基于encoder-de...
[论文解读]Neural machine translation by jointly learning to align and translate
bobobe的专栏
05-11 2940
attention模型基本框图
【论文阅读】Neural Machine Translation by Jointly Learning to Align and Translate
BeforeEasy的博客
05-19 499
摘要：Neural machine translation 是用encoder 将源输入编码成固定长度的向量，然后再用decoder解码成目标语言。但是使用固定长度是受限制的，本文就是要提出一种新的机制，让decode的时候可以比较动态的search 源输入。其实也就是attention机制introduction:常用的encoder-decoder模式在编码成固定长度的向量时，可能会失去一些有...
Neural Machine Translation by Jointly Learning to Align and Translate阅读笔记
01-06
Neural Machine Translation by Jointly Learning to Align and Translate 论文信息 ICLR2015 个人解读 Wang Anna & Hytn Chen 更新时间 2020-02-13 机器翻译简介 1980，基于规则的翻译，大致流程就是...
【论文笔记】Neural Machine Translation by Jointly Learning to Align and Translate
热门推荐
人间不值得
11-05 1万+
Neural Machine Translation by Jointly Learning to Align and Translate  --这篇论文算是在自然语言处理(NLP)中或是encoder-decoder中第一个使用attention机制的工作，将attention机制用到了神经网络机器翻译(NMT) 。 Abstract  神经机器翻译是最近提出的一种机器翻译的方法。不像传统...
论文笔记(attention 1)----NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
hx14301009的博客
05-25 2055
1. weakness of simple RNNenc Architecture    传统的neural machine translation 大都是基于encoder-decoder模型，即通过一个encoder将源句子编码成一个固定长度的向量表示，再使用decoder将这个向量作为输入，然后获得输出。这样的话，Encoder需要将整个句子编码到一个固定长度的向量，如果句子长度不大，还OK...
Neural Machine Translation by Jointly Learning to Align and Translate（注意力模型）论文阅读笔记
zyk9916的博客
07-05 132
一、背景 seq2seq模型：https://blog.csdn.net/zyk9916/article/details/118002934 在seq2seq模型中，encoder将整个源句子编码成一个固定长度的向量（即取encoder中的最后一个隐状态），然后送到decoder中解码。这种方法对使得长句子难以处理。 作者认为，将句子编码成定长的向量是提升模型性能的瓶颈，因此提出了注意力模型来改善这个限制。 作者提出的模型不将整个输入句子编码为一个固定长度的向量。相反，它将输入语句编码为一个向量序列，并在d
神经机器翻译RNNsearch(论文Neural Machine Translation by Jointly Learning to Align and Translate) 学习笔记
stu14jzzhan的博客
06-14 2206
Neural Machine Translation by Jointly Learning to Align and Translate 学习笔记 引言 传统的基于短语的翻译系统, 是由很多孤立的子成份构成的,而神经机器翻译试图构建一个简单高效的的神经网络，其输入和输出都为句子。 Encoder-Decoder的网络模型首先对源句子进行编码, 得到一个fixed-length的向量, 然后再...
Neural machine translation by jointly learning to align and translate
03-22
Neural machine translation by jointly learning to align and translate
Neural Machine Translation by Jointly Learning to Align and Translate.pdf
06-19
机器翻译 第一篇加上attention的模型
(26)[ICLR15] NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
gdtop的个人笔记
03-22 1352
计划完成深度学习入门的126篇论文第二十六篇，蒙特利尔大学的KyungHyun Cho和Yoshua Bengio领导研究的新的机器翻译的方法JOINTLY LEARNING TO ALIGN AND TRANSLATE。 ABSTRACT&INTRODUCTION 摘要 神经机器翻译是近年来提出的一种机器翻译方法。与传统的统计机器翻译不同，神经机器翻译的目的是建立一个单一的神经网络...
[论文阅读]Neural Machine Translation By Jointly Learning to Align and Translate
ZY_miao的博客
10-31 1475
文章目录前言摘要一、神经机器翻译1、机器翻译2、基于RNN的Encoder-Decoder架构二、文章贡献三、模型架构1.译码器：整体概述2.编码器：用于注释序列的双向RNN四、实验设置五、代码实现六、结果分析总结 前言 论文名：Neural Machine Translation By Jointly Learning to Align and Translate 论文作者：Dzmitry Bahdanau et.al. 期刊/会议名：ICLR 2015 本文作者：XMU_MIAO 摘要   神经机器翻
神经机器翻译 - NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
weixin_30470643的博客
04-15 2006
论文：NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE 综述 背景及问题 背景： 翻译： 翻译模型学习条件分布后，给定一个源句，通过搜索最大条件概率的句子，可以生成相应的翻译。 神经网络翻译：两个组件：第一个：合成一个源句子x；第二个：解码一个目标句子y。 问题：固定长度向量是编码...
Neural Machine Translation by Jointly Learning to Align and Translate
lpty的博客
12-19 699
引言 Dzmitry Bahdanau等人在2016年arXiv上的paper，原文地址arXiv:1409.0473v7 [cs.CL] 19 May 2016 这篇应该是最早将Attention机制用到NLP中的论文，作者提到神经网络机器翻译的目标是训练一个单一庞大的网络去直接生成翻译结果，相比统计机器翻译由各个小组件进行结合有很大不同。 而一般的神经网络机器翻译模型都是由一个encoder与...
改进Neural-Gas的高效聚类算法CARD：性能超越K-means
本文研究的是一篇关于改进Neural-Gas算法的聚类新算法——CARD的论文。Neural-Gas算法是一种基于神经网络的非参数聚类算法，其原始版本依赖于连接权重的动态调整来构建自组织的神经网络结构，用于数据的分群。然而，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值