本文探讨了chatbot生成流畅对话的方法，包括贪婪搜索、束搜索、随机采样、温度采样、Top-K采样和Top-P采样。每种方法都有优缺点，例如束搜索在某些任务中优于贪婪搜索，但消耗更多资源。Top-P采样是对Top-K采样的改进，能更好地适应不同概率分布。实践中，通常需要结合调整超参数来优化采样效果。
流畅chatbot采样
1. introduction
这篇博客可以作为chatbot旅程的终点了，前面已经介绍了模型相关的工作，那么做完模型训练以后，剩下的就是生成了。要注意的是，模型生成的内容并不是和训练过程类似的，要想生成流畅且通顺的response还是需要一些额外的处理，这里会介绍一些生成相关的工作，以便让自己训练的模型有用武之地，毕竟，辛辛苦苦做出来的东西，能用且可用才是最让自己有成就感的。
2. 生成方法
2.1 greedy search
每次预测的时候选择概率最大的那个token，最简单，不过效果比较差。
采样公式：
w t = a r g m a x w P ( w ∣ w 1 : t − 1 ) 时 间 步 t 采 样 w_{t}=argmax_{w}P(w|w_{1:t-1}) \quad 时间步t采样 wt=argmaxwP(w∣w1:t−1)时间步
最低0.47元/天 解锁文章
扫一扫
136
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
