在Seq2Seq模型的解码过程中， Beam Search是一种常用的策略。它每次保留b个最高概率的选择，并在下一轮中扩展这些选择，直至序列结束。在机器翻译示例中，通过逐步扩展和选择最高概率的组合，最终得到多个可能的翻译结果。随着beam size增大，搜索空间扩大，计算复杂度增加，通常选择b=10左右作为平衡点。
在Seq2Seq解码部分中,常用到Beam Search。每个时刻它会保存b（beam size）个概率最大的选择作为当前的最佳选择，然后解码下一时刻时，继续选择和之前保存的b个选择组合起来后的概率最大的b个选择，依次循环迭代下去，直到编码结束。
下面直接上图：
在机器翻译中:
法语输入:Jane visite l’Afrique en septembre.
人工翻译:Jane visits Africa in September.
这里 beam size 为3。
在时刻1时,模型选择了概率最大的三个选择为:in ,jane,september。
在时刻2时，模型分别对时刻1的三个单词组合每个组合做贪心搜索，然后输出条件概率最大的三个选择为：in september，jane is,jane visits.
在时刻3,模型继续对前面的三个组合每个组合做贪心搜索,然后输出条件概率最大的三个选择为:
in september Jane,jane is visit , jane visits africa.
依次循环直到最后输出<EOS>符. 假设最后输出为这三个答案:
1)Jane is visit Africa in September.<EOS>
最低0.47元/天 解锁文章
998
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
