1、beam search
原理：每步找条件概率最大的k个词
优点：比较连贯
缺点：容易生成重复token和比较短的序列
2、top k采样
原理：每步取概率最高的k个词，然后重新归一化，按照归一化后的概率采样作为输出token
优点：多样性好，不容易出现重复词
缺点：k不好控制，太大容易漏出来罕见无关词，太小容易漏掉优质候选词。
本文深入探讨了两种序列生成算法——beamsearch和topk采样。beamsearch通过每步选择条件概率最高的k个词，确保生成的序列较为连贯，但易产生重复和较短的序列。相比之下，topk采样在每步选取概率最高的k个词并进行重新归一化，从而提供更好的多样性，避免重复词，不过k的选择对结果质量影响显著。这两种算法在自然语言处理中的应用和权衡值得进一步研究。
667
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
