一些模型测试中的BUG和可能解决方法

一些模型测试中的BUG和可能解决方法

模型一直重复反馈相同内容的问题查找思路

如下顺序也是排查优先级

1. 检查提示词和上下文，保证提示词中没有类似的要求，然后再查看上下文是不是占满了token长度。
2. 检查一下选择的model是不是本身就有这样的问题
3. 尝试增加repeat_penalty（1.05、1.1，最大1.15或者1.2），看看是否会出现不自然的反馈。
4. 利用frequency_penalty（0.1-0.5）减少重复使用的tokens，或者使用presence_penalty（0.1-0.5）减少上线文的重复tokens。
5. 稍微增长一点min_p（例如增长到0.1），或者增长top_p到0.85，过滤掉一些由于低概率的tokens导致的循环。
6. 如果temperature设置的比较高，可以尝试降低一点（例如降到0.7、0.8）

模型输出太随机相关性差

如下顺序也是排查优先级

1. 增加temperature
2. 降低min_p到0.05，或者更低的0.03