Attention
theoreoeater
这个作者很懒,什么都没留下…
展开
-
【论文笔记】Effective Approaches to Attention-based Neural Machine Translation
论文链接 本文针对NMT任务使用的attention机制提出两种结构,global attention将attention作用于全部输入序列,local attention每个时间步将attention作用于输入序列的不同子集。前者被称为soft attention,其原理和论文1一样,后者是hard attention和soft attention的结合,该文通过context vector...原创 2018-05-31 13:49:53 · 2711 阅读 · 1 评论 -
【论文笔记】neural machine translation by jointly learning to align and translate
1.neural machine translation by jointly learning to align and translate 这篇文章是将attention机制应用于机器翻译上,普通的seq2seq模型要将输入文本的信息编码至固定长度的隐向量中,当面对长文本时会损失许多信息,那么就要利用attention对输入文本的不同片段根据其重要程度分配不同的权重,使得信息被更有效地编码...原创 2018-05-30 14:31:24 · 1553 阅读 · 1 评论