论文笔记:Beam Search Strategies for Neural Machine Translation

原创 2018年04月15日 22:38:56

作者:

Markus Freitag and Yaser Al-Onaizan

单位:

IBM T.J. Watson Research Center

关键词:

Beam search; Pruning strategies

问题:

束搜索算法跟踪k个状态,而不仅仅只跟踪一个。它从k个随机生成的状态开始,在每一步中都生成所有k个状态的所有后继者。如果这其中的任何一个后继者是目标,那么算法就会停止。否则,它将从完整列表中选择k个最佳后继者并不断重复。

在束或并行搜索数量确定的情况下,现有的束搜索策略存在的可能的问题是:

1、  远小于当前最优得分的序列也会被扩展;

2、  与当前最优得分相差不多的序列由于k的限制未被扩展。

第二种情况可以通过采用较大的束宽度来避免,然而这种性能的提高会导致解码速度降低。

动机:

提出多种beam search的策略,加快解码器速度。

候选序列(best scoring candidates)往往共享同一个部分序列(partialhypothesis),文章对这种现象做出限制,从而加大候选序列的多样性。

模型:

几种剪枝策略:

1、  Relative Threshold Prunning

给定一个相对剪枝门限rp,丢弃比最优候选序列得分低的序列:

2、  Absolute Threshold Prunning

给定一个绝对剪枝门限ap,丢弃比最优候选序列得分低的序列:

3、  Relative Local Threshold Prunning

只考虑最后一个生成的单词的得分而不是整个候选序列的得分:

4、  Maximum Candidates per Node

只允许有限数目个共享部分序列的候选序列。

解码速度的衡量:

1、  与不采用任何剪枝策略的普通beamsearch速度相比

2、  在每一个时刻,定义该时刻扩展的候选序列为fan out。fan out的取值上限为beam size,也可以小于beam size,小于的情况包括扩展到终止符或者使用了上面提到的剪枝策略。

对于每种剪枝策略,作者在不同的threshold值下做了实验,最终选取在不会降低翻译质量的前提下的最大threshold值。

简评:

采用文章的剪枝策略可以做到在每个时刻选择的后继者数目不同。实验证明能够加速解码。


Effective Approaches to Attention-based Neural Machine Translation

Abstract: An attentional mechanism has lately been used to improve neural machine translation (NM...
  • AMDS123
  • AMDS123
  • 2017-05-20 17:08:01
  • 647

[EMNLP2015]Effective Approaches to Attention-based Neural Machine Translation

neural machine translation有以下优点: (1) 有能力生成很长的词序列 (2) 因为不需要存储巨大的短语词表,所以需要很小的内存 (3) 解码很容易 A: 介绍了两种...
  • u014221266
  • u014221266
  • 2017-08-16 14:34:25
  • 349

Neural Machine Translation论文阅读笔记

Massive Exploration of Neural Machine Translation Architectures, Google Brain2017该文章主要做了大量的实验,可做为ove...
  • u014025868
  • u014025868
  • 2017-06-23 12:05:11
  • 2138

【论文阅读】Neural Machine Translation By Jointly Learning To Align and Translate

Neural Machine Translation By Jointly Learning To Align and Translate二作与三作 Universite de Montreal ...
  • chengdezhi2011
  • chengdezhi2011
  • 2017-06-13 22:55:19
  • 1766

[持续更新] 神经机器翻译论文汇总 Papers on Neural Machine Translation

[持续更新] 神经机器翻译论文汇总Papers on Neural Machine Translation 博主在这里尽可能地整理些神经机器翻译相关的重要论文,大概按照下面的条目分类,不同类别中有互相...
  • Riddlesky
  • Riddlesky
  • 2017-02-15 15:23:16
  • 1659

论文《NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE》总结

NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE论文来源:Bahdanau, D., Cho, K., & B...
  • rxt2012kc
  • rxt2012kc
  • 2017-06-28 20:53:48
  • 468

神经网络机器翻译Neural Machine Translation(2): Attention Mechanism

端到端的神经网络机器翻译(End-to-End Neural Machine Translation)是近几年兴起的一种全新的机器翻译方法。前篇NMT介绍的基本RNN Encoder-Decoder结...
  • u011414416
  • u011414416
  • 2016-04-04 18:48:13
  • 14413

Google's Neural Machine Translation System

关键词:automated translation 自动翻译 谷歌传统的机器翻译系统:基于词组/短语的(phrase-based) 统计机器翻译 Statistical Machine Transl...
  • robogo
  • robogo
  • 2016-09-28 22:36:43
  • 393

[ICLR2015]Neural Machine Translation by Jointly Learning to Align and Translate

我不是做机器翻译的,看机器翻译方面的文章是想了解attention文章,所以最近看的文章是机器翻译方面的 稍晚时候更新...
  • u014221266
  • u014221266
  • 2017-08-11 20:24:36
  • 393

On Using Very Large Target Vocabulary for Neural Machine Translation

neural machine translation的优点: (1)要求比较少的domain knowledge(比如说源语和目标语的特征) (2)joint tuned, 以往 phrase-b...
  • u014221266
  • u014221266
  • 2017-08-11 20:53:21
  • 258
收藏助手
不良信息举报
您举报文章:论文笔记:Beam Search Strategies for Neural Machine Translation
举报原因:
原因补充:

(最多只允许输入30个字)