论文笔记：Beam Search Strategies for Neural Machine Translation

作者：

Markus Freitag and Yaser Al-Onaizan

单位：

IBM T.J. Watson Research Center

关键词：

Beam search; Pruning strategies

问题：

束搜索算法跟踪k个状态，而不仅仅只跟踪一个。它从k个随机生成的状态开始，在每一步中都生成所有k个状态的所有后继者。如果这其中的任何一个后继者是目标，那么算法就会停止。否则，它将从完整列表中选择k个最佳后继者并不断重复。

在束或并行搜索数量确定的情况下，现有的束搜索策略存在的可能的问题是：

1、  远小于当前最优得分的序列也会被扩展；

2、  与当前最优得分相差不多的序列由于k的限制未被扩展。

第二种情况可以通过采用较大的束宽度来避免，然而这种性能的提高会导致解码速度降低。

动机：

提出多种beam search的策略，加快解码器速度。

候选序列（best scoring candidates）往往共享同一个部分序列（partialhypothesis），文章对这种现象做出限制，从而加大候选序列的多样性。

模型：

<