大模型推理：transformers中的generate函数参数配置

一、主要参数

参数	推荐值	简介	定义
temperature	0.95	这个值越大生成内容越随机，多样性更好	这个参数控制着生成的随机性。较高的温度值（如 1.2）会增加文本的多样性和创造性，但可能会牺牲一些准确性或连贯性。具体地，temperature 会调整概率输出的softmax概率分布，如果 temperature 的值为1，则没有任何调整；如果其值比1大，则会生成更加随机的文本；如果其值比1小，则生成的文本更加保守。
top_p	0.95	单步累计采用阈值，越大越多token会被考虑	如果累计概率已经超过0.95，剩下的token不会被考虑例如有下面的token及其概率，a:0.9,b:0.03,c:0.03,d:0.015,e… 。则只会采用用abc，因为已经是0.96超过了0.95
top_k	50	单步采用token的数量，越大采用token会越多	单步中最多考虑的token数量
max_length	512	最大采样长度	模型生成的文本最大长度，超过的话会做截断，512是参考值，这个依赖于实际情况自己设置
num_beams	1	beam搜索数量，越大文本质量越高	想象一棵树，这个树在每一层的叶子节点数量都是num_beams个，正常模型推理时设置成1就行啦；