小嗷犬的博客

在生成文本时用于控制输出多样性和确定性的三个关键参数：do_sample、temperature、top_k 和 top_p。do_sample 参数决定模型是采用概率采样生成下一个token还是选择最高概率的token。temperature 参数通过调整softmax函数，控制概率分布的平滑度，从而影响输出的随机性或保守性。top_k 和 top_p 参数分别限制了在生成过程中考虑的最高概率token的数量和累计概率比例，进一步引导生成过程中的选择偏向。这些参数可以组合使用，按特定顺序叠加效果。

BPE是一种无监督的分词方法，它通过对训练语料库进行分析，逐步合并最频繁出现的字符对来构建词汇表。这种方法能够有效地处理多种语言，尤其是当面临大量未见过的数据时表现出色。算法步骤初始化词汇表Step1：从训练语料库中提取所有唯一的字符作为初始词汇表VVV。迭代过程Step2：计算所有可能的字符对出现的频率，找出出现频率最高的字符对xx′x, x'xx′。Step3：将该字符对替换为一个新的词元xx′xx'xx′，并在训练语料库中进行更新。Step4：将新的词元xx′。