Effective Approaches to Attention-based Neural Machine Translation

最新推荐文章于 2021-03-10 23:49:36 发布
最新推荐文章于 2021-03-10 23:49:36 发布
阅读量3.8k 收藏 7
点赞数 4
分类专栏： 论文阅读 深度学习 文章标签： attention global attention local attention
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_33741547/article/details/85293872
版权
本文介绍了Luong等人2015年的研究，他们在Bahdanau的注意力模型基础上提出全局和局部两种注意力机制。全局方法在每个时间步计算与源序列的所有隐藏状态的相似度，而局部方法仅关注源序列的一部分。实验结果显示，局部方法在多个翻译任务中表现最佳，特别是在使用general评分函数时。此外，作者还引入了input feeding来利用已翻译信息，并通过AER评估对齐质量。
摘要由CSDN通过智能技术生成

引言

Minh-Thang Luong等在2015年arXiv上的论文，原文地址：地址
这是继Bahdanau提出attention用于NLP的后续工作，作者提出了两种新的，相对于前面工作简单但有效的网络，一种称为global方法，实现上与Bahdanau使用的方式很相似，在每一次生成目标词时，都需要所有对源语句隐藏状态计算相似度，但相对来说更为直接简单；另一种称为local方法，不同的是在计算时只需要对源语句某个子集计算相似度，之后基于这个子集生成context vector。
此外，作者对比了不同的对齐函数在模型上所取得的效果，使用文中提出的模型，作者在英文翻译到德文的多项任务中取得了SOTA的结果。

模型

Neural Machine Translation

在这里插入图片描述
一般的神经网络翻译模型，都是直接对条件概率 p ( y ∣ x ) p(y|x) p(y∣x)建模，其中x为源语句，y为目标语句。具体到上述图中，蓝色部分的encoder，将目标语句编译成语义表示s，而红色部分的decoder接收源语句表示s，逐个字翻译目标语句，表达式如下：
在这里插入图片描述
在上述端到端的模型中，一般在神经单元后续加上一个softmax函数，生成一个字典大小的概率分布向量，决定当前生成的字，
在这里插入图片描述
如上所示，在整个计算过程中，源语句语义表示s都是不变的，如果通过一些方式使得s可以动态的变化，就是attention模型了。

Attention-based Models

Attention模型实际上讲的就是如何计算动态的源语句语义表示，这里称为c，对应的t时间步的语义表示则称为 c t c_t ct​。
对于global或者local方法来说，不同的只是通过当前时间t隐层输出 h t h_t ht​与源语句隐层输出 h s h_s hs​计算出context c t c_t ct​

最低0.47元/天 解锁文章
lpty
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【论文笔记】Effective Approaches to Attention-based Neural Machine Translation
gjh1716718326的博客
10-31 387
这篇文章发布2015年，关于Attention的应用。 现在看来可能价值没那么大了，但是由于没读过还是要读一遍。 简介 Introduce In parallel, the concept of “attention” has gained popularity recently in training neural networks, allowing models to learn alignments between different modalities, e.g., between image
自然语言处理—机器翻译（Machine Translation）
最新发布
Gavin299的博客
06-23 1757
机器翻译（Machine Translation, MT）是自然语言处理（Natural Language Processing, NLP）和人工智能（Artificial Intelligence, AI）领域的一个重要分支，它涉及使用计算机程序将一种语言的文本自动翻译成另一种语言的文本。
Effective Approaches to Attention-based Neural Machine Translation【论文笔记】
Chevalier的博客
11-21 544
一、摘要   attention机制通过在翻译过程中选择性地专注于部分原句来提高神经机器翻译（Neural Machine Translation，NMT）的性能。然而，目前很少有用的基于attention的NMT架构。本篇论文介绍了两种简单有效的attention机制。全局attention关注原句的所有单词，局部attention关注原句的一部分单词。 二、介绍   NMT通常是一个大型的神经...
Effective Approaches to Attention-based Neural Machine Translation之每日一篇
gentelyang的博客
06-29 445
论文地址：http://www.cs.cmu.edu/~ark/EMNLP-2015/proceedings/EMNLP/pdf/EMNLP166.pdf概述：本文针对NMT任务是用attention机制提出两种结构，global attention将attention作用于全部输入序列，local attention每个时间步将attention作用于输入序列的不同子集。前者被称为soft at...
Effective Approaches to Attention-based Neural Machine Translation 学习笔记
Doron15的博客
08-18 1704
Effective Approaches to Attention-based Neural Machine Translation 学习笔记 本文是阅读 Effective Approaches to Attention-based Neural Machine Translation 之后的学习总结，如有不妥之处，烦请各位斧正。 Effective Approaches to Atte...
注意力机制Effective Approaches to Attention-based Neural Machine Translation
DAICONG’s Blog
03-10 189
Effective Approaches to Attention-based Neural Machine Translation nlp三大顶会：ACL、EMCNLP、NACL 学起于思，思起于疑 合抱之木，生于毫末，九层之台，起于垒土，千里之行，始于足下 NMT 神经机器翻译neural Machine transtation eos sos bos end、star of sentence 端到端模型：撒见和训练都非常的简单 符合人类的翻译直觉，即阅读源的一句话，-明白意思–翻译成目标的一句话 s
论文学习笔记05（Effective Approaches to Attention-based Neural Machine Translation）
Xiao_yanling的博客
04-28 284
Effective Approaches to Attention-based Neural Machine Translation
《Effective Approaches to Attention-based Neural Machine Translation》—— 基于注意力机制的有效神经机器翻译方法
然后就去远行
10-24 1933
《Effective Approaches to Attention-based Neural Machine Translation》 基于注意力机制的有效神经机器翻译方法； 作者：Minh-Thang Luong（第一作者）； 单位：Stanford University； 会议：EMNLP 2015；（NLP三大顶会：ACL、EMNLP、NAACL） 论文总览 Abstract：基于注意力机制的神经机器翻译模型是一种有效的方法，但是目前关于注意力机制模型结构的文章还比较少，本文提出了两种简单但是
LSTM-Attention模型：Effective Approaches to Attention-based Neural Machine Translation
ACM_hades的博客
02-13 692
参考链接 论文链接：https://arxiv.org/pdf/1508.04025v5.pdf 项目链接： https://github.com/pytorch/fairseq 模型(model)： 【1】Neural Machine Translation(NMT): 神经机器翻译(NMT)是直接用神经网络去模拟条件概率：p(x∣y)p(x|y)p(x∣y) NMT一般由两个部分组成：...
论文笔记(Attention 2)-----Effective Approaches to Attention-based Neural Machine Translation
hx14301009的博客
05-26 3751
上一篇attention介绍了Bahdanau等人提出的一种soft-attention模型。  Luong等人在此基础上提出了两种简单且有效的方式：全局(global)和局部(local)的方式。所谓的global，就是指每次都关注整个source sentence，而local则是在每个时间t，只关注一部分source sentence。Luong等人提出的global类似于Bahdanau等...
论文笔记：Effective approaches to attention-based neural machine translation
travalscx的博客
08-16 248
https://www.jianshu.com/p/1c24eba3ba9c 本论文就提出了两种简单但却有效的注意力机制，全局注意力（global）和局部注意力（local）。 本文提出的两种注意力机制（global & local）其本质区别在于，全局注意力会参考所有输入词，而局部注意力只会考虑部分输入词。 全局注意力 该注意力机制重点在于考虑所有输入的隐状态来生成语境向量。 局部注意...
[attention] 论文笔记-Effective Approaches to Attention-based Neural Machine Translation
weixin_42663919的博客
07-23 303
论文理论 文章：Effective Approaches to Attention-based Neural Machine Translation 链接：https://pan.baidu.com/s/1qZieu90lKPMwwj2BxoO2MA 提取码：6pv0 模型理解 本文提出的attention主要是基于翻译任务，模型框架使用encoder(embedding)-decoder(embedding)+attention，提出了两种attention:global attention 和l
Effective Approaches to Attention-based Neural Machine Translation笔记
Zjhao666的博客
08-31 286
一、概要 时间步t 1 首先使用最顶层堆叠LSTM的隐含层ht作为输入，以获得语境向量ct 2 进而预测出目标单词yt global和local的区别仅在于语境向量ct的获取方式 3 拼接隐含层ht和语境向量ct，以获得注意力隐含层状态 4 接着注意力向量ht通过softmax层去生成预测分布 二、global attention 关注全局 思想：在生成语境向量ct时...
Effective Approaches to Attention-based Neural Machine Translation_2015_Luong 【NMT】【Attention】
R
07-10 176
文章目录提出背景神经机器翻译NMT模型Global AttentionLocal attention 论文链接：Effective Approaches to Attention-based Neural Machine Translation By Luong et al. 2015 任务对齐（alignments between different modalities）：对齐是指比如在翻译任务中，翻译每个词的时候，要找多需要重点关注的原句中的词，也就是将原文中的词和目标文中的词对应起来。 对齐权
Transformer-Based Visual Segmentation: A Survey
05-24
In recent years, transformer-based methods have emerged as a promising approach for visual segmentation, leveraging the self-attention mechanism to capture long-range dependencies in the image. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值