![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
attention in NLP
Chevalier~
这个作者很懒,什么都没留下…
展开
-
Effective Approaches to Attention-based Neural Machine Translation【论文笔记】
一、摘要 attention机制通过在翻译过程中选择性地专注于部分原句来提高神经机器翻译(Neural Machine Translation,NMT)的性能。然而,目前很少有用的基于attention的NMT架构。本篇论文介绍了两种简单有效的attention机制。全局attention关注原句的所有单词,局部attention关注原句的一部分单词。二、介绍 NMT通常是一个大型的神经...原创 2018-11-21 15:38:57 · 511 阅读 · 0 评论 -
NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE【论文笔记】
一、摘要 神经机器翻译是最近提出的机器翻译的一种方法。与传统的统计机器翻译不同,神经机器翻译旨在建立一个单一的神经网络,可以联合调整以最大化翻译性能。最近提出的用于神经机器翻译的模型通常属于一系列编码器 - 解码器,并将源句编码成固定长度的矢量,解码器从该矢量生成翻译。我们推测对于提升基本的编码器-解码器结构的性能,固定长度向量的使用是一个瓶颈。并建议通过允许模型自动搜索与预测目标词相关的部分...原创 2018-11-27 09:45:51 · 205 阅读 · 0 评论 -
Attention is all you need【论文笔记】
一、摘要 显性序列转导模型通常基于复杂的RNN或CNN模型,包括一个encoder和一个decoder。表现最好的模型通常也在encoder和decoder之间应用attention机制。我们提出一个新的简单的网络架构,单纯地基于attention机制,完全没用到RNN或CNN模型。两个机器翻译任务的实验表明,这些模型在质量上更优越,同时更易于并行化,并且需要更少的时间进行训练。二、介绍 ...原创 2019-07-22 14:56:32 · 384 阅读 · 0 评论 -
Dynamic Meta-Embeddings for Improved Sentence Representations【论文笔记】
一、摘要 在很多NLP任务上的首要步骤就是选择使用哪种预训练词向量,我们认为这一步骤留给神经网络自己选择比较好。作者提出了dynamic meta-embeddings,其实就是对embedding做了attention,在各种任务上的相同模型上取得了state-of-the-art的效果。二、介绍 毫不夸张地说词向量是NLP的一种革命性的突破。有大量文献研究哪种词向量对哪些任务最有用。...原创 2019-07-22 14:56:14 · 573 阅读 · 0 评论 -
An Introductory Survey on Attention Mechanisms in NLP Problems【论文笔记】
一、摘要 注意力机制可以被用来编码序列数据基于每个元素的重要性分数,已经被广泛用于NLP中的各种任务。本篇论文,作者介绍了各种attention,探索他们之间的联系并且评估其性能。二、介绍 作者通过举了机器翻译的例子介绍为什么要用attention机制。传统的机器翻译方法是encoder-decoder架构的,都是由RNN结构组成。但是RNN有两种严重的缺陷:RNN是健忘的,意味着旧信息...原创 2019-07-22 14:56:22 · 508 阅读 · 0 评论 -
自然语言处理中的自注意力机制(Self-attention Mechanism)【转载】
原文:https://www.cnblogs.com/robert-dlut/p/8638283.html 近年来,注意力(Attention)机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中,之前我对早期注意力机制进行过一些学习总结(可见http://www.cnblogs.com/robert-dlut/p/5952032.html)。随着注意力机制的深入研究,各式各样的at...转载 2019-03-06 16:15:42 · 554 阅读 · 0 评论 -
A STRUCTURED SELF-ATTENTIVE SENTENCE EMBEDDING【论文笔记】
一、Background 在学习单个词的语义上有意义的分布式表示方面已经取得了很大进展,比如word emebddings。另外,要获得满意的短语和句子表示仍然有很多的工作要做。这些方法通常可以分为两大类:通用的embedding,无监督学习训练得到,包括SkipThought vectors、ParagraphVector等等。另外一种是特定任务监督训练得到的,通常与下游应用相关。一般来说,...原创 2019-07-03 09:49:42 · 222 阅读 · 0 评论