昇思学习打卡-13-LLM原理与实践/文本解码原理--以MindNLP为例

一个文本序列的概率分布可以分解为每个词基于其上文的条件概率的乘积

搜索方法

集束搜索(beam search)

• Beam search通过在每个时间步保留最可能的 num_beams 个词，并从中最终选择出概率最高的序列来降低丢失潜在的高概率序列的风险。

• 优点：一定程度保留最优路径

• 缺点：1. 无法解决重复问题；2. 开放域生成效果差

贪心搜索(greedy search)

• 在每个时间步𝑡都简单地选择概率最高的词作为当前输出词
• 缺点: 错过了隐藏在低概率词后面的高概率词

采样池处理结果

此章节学习到此结束，感谢昇思平台。