LLM推理选项

--length_penalty

>0鼓励生成长句子；<0鼓励生成短句子；

 --repetition_penalty

对重复token做出惩罚，减少其probability；g表示该token已经出现过；

I一般设为1.2；设为1则没有任何惩罚；

--presence_penalty

目的：增加多样性；实现：对已出现的token，加上惩罚值，使其在新token的生成中的probability下降；（出现多次的token，只加1次惩罚值）

--frequency_penalty

目的：降低相同词多次出现的可能性；实现：对已出现的token，每出现1次就加1次惩罚值，多次就加多次惩罚值；

  --early_stopping

beam search>1时；True, 则发现K个stop的candidates时，则停掉；False，则用启发式方法判定找不到更优解时，才停掉；"never": 肯定的判定找不到更优解时，才停掉；