注意力机制Effective Approaches to Attention-based Neural Machine Translation

最新推荐文章于 2021-10-31 19:27:57 发布
最新推荐文章于 2021-10-31 19:27:57 发布
阅读量175 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26884501/article/details/114641296
版权

Effective Approaches to Attention-based Neural Machine Translation
nlp三大顶会：ACL、EMCNLP、NACL
学起于思，思起于疑
合抱之木，生于毫末，九层之台，起于垒土，千里之行，始于足下
NMT 神经机器翻译neural Machine transtation
eos sos bos end、star of sentence
端到端模型：撒见和训练都非常的简单
符合人类的翻译直觉，即阅读源的一句话，-明白意思–翻译成目标的一句话

seq2seq缺点
1、encoder将长句压缩成一个向量很难

2、decoder解码的时候会遗忘encoder的信息：
解决方式：将encoder的输出向量送到decoder的每一个时间步，即rnn神经网络
Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation

借助对齐的思想，翻译到某个词是，从源语言中找相关的词，让翻译更加的简单
Neural Machine Translation by Jointly Learning to Align and Translate

注意力机制
有很多信息，有些是有用的吗，，有些是没用的，如何自动去寻找目前这个状态下的有用信息
比如下图，y可能只与bc这两个词有关，而Z可能只与D有关
在这里插入图片描述
lcoal
hard attention 关注局部的词 比如0.1 0.2 0.1 0.2 0.4这几个词只会关注0.4，但是本文中的local使用了小的窗口，实现了lcoal的效果
在这里插入图片描述

最低0.47元/天 解锁文章
望长安于日下
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Effective Approaches to Attention-based Neural Machine Translation
lpty的博客
12-28 3853
引言 Minh-Thang Luong等在2015年arXiv上的论文，原文地址：地址 这是继Bahdanau提出attention用于NLP的后续工作，作者提出了两种新的，相对于前面工作简单但有效的网络，一种称为global方法，实现上与Bahdanau使用的方式很相似，在每一次生成目标词时，都需要所有对源语句隐藏状态计算相似度，但相对来说更为直接简单；另一种称为local方法，不同的是在计算时...
Effective Approaches to Attention-based Neural Machine Translation【论文笔记】
Chevalier的博客
11-21 510
一、摘要   attention机制通过在翻译过程中选择性地专注于部分原句来提高神经机器翻译（Neural Machine Translation，NMT）的性能。然而，目前很少有用的基于attention的NMT架构。本篇论文介绍了两种简单有效的attention机制。全局attention关注原句的所有单词，局部attention关注原句的一部分单词。 二、介绍   NMT通常是一个大型的神经...
【论文笔记】Effective Approaches to Attention-based Neural Machine Translation
gjh1716718326的博客
10-31 368
这篇文章发布2015年，关于Attention的应用。 现在看来可能价值没那么大了，但是由于没读过还是要读一遍。 简介 Introduce In parallel, the concept of “attention” has gained popularity recently in training neural networks, allowing models to learn alignments between different modalities, e.g., between image
论文笔记：Effective approaches to attention-based neural machine translation
travalscx的博客
08-16 241
https://www.jianshu.com/p/1c24eba3ba9c 本论文就提出了两种简单但却有效的注意力机制，全局注意力（global）和局部注意力（local）。 本文提出的两种注意力机制（global & local）其本质区别在于，全局注意力会参考所有输入词，而局部注意力只会考虑部分输入词。 全局注意力 该注意力机制重点在于考虑所有输入的隐状态来生成语境向量。 局部注意...
LSTM-Attention模型：Effective Approaches to Attention-based Neural Machine Translation
ACM_hades的博客
02-13 649
参考链接 论文链接：https://arxiv.org/pdf/1508.04025v5.pdf 项目链接： https://github.com/pytorch/fairseq 模型(model)： 【1】Neural Machine Translation(NMT): 神经机器翻译(NMT)是直接用神经网络去模拟条件概率：p(x∣y)p(x|y)p(x∣y) NMT一般由两个部分组成：...
Unsupervised-Attention-guided-Image-to-Image-Translation-master.zip
12-15
Current unsupervised image-to-image translation techniques struggle to focus their attention on individual objects without altering the background or the way multiple objects interact within a scene....
Overhead Analysis and Evaluation of Approaches to Host-Based Bot Detection
02-09
Overhead Analysis and Evaluation of Approaches to Host-Based Bot Detection
Off-chaining Models and Approaches to Off-chain Computations
01-29
区块链是不同计算和经济学概念的组合，主要包括对等网络，不对称密码学，共识协议，分散存储，分散计算和智能合约以及激励机制。这些概念的综合将区块链定位为新技术并同时作为可编程平台和网络。这里引入的链下计算...
Robust tongue segmentation by fusing region-based and edge-based approaches
02-08
To ensure the feasibility and reliability of tongue diagnosis, a robust and accurate tongue segmentation method is a prerequisite. However, both of the common segmentation methods (edge-based or ...
Hybrid Approaches to Machine Translation pdf
04-07
Hybrid Approaches to Machine Translation 208页高清 带详细书签目录 springer出版 pdf格式
approaches to translation studies
07-20
翻译研究的入门教材，适合本科生研究生和翻译爱好者。原版书籍，观点新颖，实用性强。
[attention] 论文笔记-Effective Approaches to Attention-based Neural Machine Translation
weixin_42663919的博客
07-23 284
论文理论 文章：Effective Approaches to Attention-based Neural Machine Translation 链接：https://pan.baidu.com/s/1qZieu90lKPMwwj2BxoO2MA 提取码：6pv0 模型理解 本文提出的attention主要是基于翻译任务，模型框架使用encoder(embedding)-decoder(embedding)+attention，提出了两种attention:global attention 和l
Effective Approaches to Attention-based Neural Machine Translation笔记
Zjhao666的博客
08-31 275
一、概要 时间步t 1 首先使用最顶层堆叠LSTM的隐含层ht作为输入，以获得语境向量ct 2 进而预测出目标单词yt global和local的区别仅在于语境向量ct的获取方式 3 拼接隐含层ht和语境向量ct，以获得注意力隐含层状态 4 接着注意力向量ht通过softmax层去生成预测分布 二、global attention 关注全局 思想：在生成语境向量ct时...
论文学习笔记05（Effective Approaches to Attention-based Neural Machine Translation）
Xiao_yanling的博客
04-28 273
Effective Approaches to Attention-based Neural Machine Translation
《Effective Approaches to Attention-based Neural Machine Translation》—— 基于注意力机制的有效神经机器翻译方法
然后就去远行
10-24 1889
《Effective Approaches to Attention-based Neural Machine Translation》 基于注意力机制的有效神经机器翻译方法； 作者：Minh-Thang Luong（第一作者）； 单位：Stanford University； 会议：EMNLP 2015；（NLP三大顶会：ACL、EMNLP、NAACL） 论文总览 Abstract：基于注意力机制的神经机器翻译模型是一种有效的方法，但是目前关于注意力机制模型结构的文章还比较少，本文提出了两种简单但是
Effective Approaches to Attention-based Neural Machine Translation论文笔记
geter_CS的博客
04-22 445
这篇文章在NMT(Neural machine translation)上尝试了两种简单且有效的注意力机制：一个可以注意所有单词的全局方法（global approach），和一个只看部分单词的局部方法（local approach). 1.全局方法类似(Bahdanau et al.2015)，但是结构更简单， 2.局部方法可以看为是hard和soft注意力机制(Xu et al.,2015)的...
Transformer-Based Visual Segmentation: A Survey
最新发布
05-24
In recent years, transformer-based methods have emerged as a promising approach for visual segmentation, leveraging the self-attention mechanism to capture long-range dependencies in the image. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值