昇思18天

文本解码原理——以MindNLP为例

1. 自回归语言模型
   概述：通过前文预测下一个单词，生成整个文本序列。
   公式：一个文本序列的概率可以分解为每个词基于其上文的条件概率的乘积。
2. Greedy Search（贪心搜索）
   定义：在每个时间步选择概率最高的词作为当前输出词。
   缺点：可能错过隐藏在低概率词后面的高概率词。
3. Beam Search（束搜索）
   定义：保留多个（𝑘个）最有可能的部分序列，并在每一步扩展这些序列。
   优点：能够找到比贪心搜索更优的序列。
   复杂度：计算成本较高。
4. Sampling（采样）
   定义：基于概率分布随机采样下一个单词。
   类型：包括纯随机采样和加温度的采样（调节模型输出概率的平滑度）。
5. Top-k和Top-p Sampling
   Top-k采样：从𝑘个最高概率的词中采样。
   Top-p采样（核采样）：从累积概率超过阈值𝑝的词中采样。