用这些参数构造prompt

dict是Python中的一种数据结构,它是一个无序的键值对集合。在Python中,可以使用大括号{}或者使用关键字dict()来创建一个字典。例如,可以使用以下代码创建一个字典: dict = {“name”: “张三”, “age”: 20, “sex”: “男”} 这个字典有三个键值对,分别是"name"、“age"和"sex”,对应的值分别是"张三"、20和"男"。 通过使用键来访问字典中的值,可以使用以下格式进行访问: value = dict[key] 其中key是字典中的键,value是对应的值。例如,如果要访问字典中的"name"对应的值,可以使用以下代码: name = dict[“name”] 字典是可变的,可以通过以下格式来修改字典中的值: dict[key] = new_value 其中key是要修改的键,new_value是要设置的新值。例如,如果要将字典中的"name"修改为"李四",可以使用以下代码: dict[“name”] = “李四” 此时,字典中的"name"对应的值就变成了"李四"。 如果想要删除字典中的某个键值对,可以使用以下格式进行删除: del dict[key] 其中key是要删除的键。例如,如果要删除字典中的"name"键值对,可以使用以下代码: del dict[“name”] 此时,字典中的"name"键值对就被删除了。123

Dict(

Temperature=1,

Repetition_penalty=1.0,

Top_k=0,

Top_p=1,

Typical_p=1,

Do_sample=false,

Max_new_tokens=512

)

1.Temperature
用于调整随机从生成模型中抽样的程度,因此每次点击“生成”时,相同的提示可能会产生不同的输出。温度为 0 将始终产生相同的输出。温度越高随机性越大!

2.Repetition_penalty

是一个用于对重复词汇进行惩罚的参数。它的默认值为1.0,表示没有惩罚。重复词汇的出现可能会降低生成序列的多样性和质量,因此可以通过调整repetition_penalty来控制生成文本中重复词的程度。具体而言,当repetition_penalty的值大于1.0时,模型会更严厉地惩罚重复词,鼓励生成更多不同的词汇;而当repetition_penalty的值小于1.0时,模型会相对较宽松地处理重复词,可能会生成较多重复的内容。更多关于repetition_penalty的细节可以参考论文《CTRL: A CONDITIONAL TRANSFORMER LANGUAGE MODEL FOR CONTROLLABLE GENERATION》。

3.Top k
允许其他高分tokens有机会被选中。 这种采样引入的随机性有助于在很多情况下生成的质量。 top-k 参数设置为 3意味着选择前三个tokens。

4.Top p
动态设置tokens候选列表的大小。 将可能性之和不超过特定值的top tokens列入候选名单。
Top p 通常设置为较高的值(如 0.75),目的是限制可能被采样的低概率 token 的长度。

5.Typical_p

typical_p:典型采样(不知道能否这样翻译),默认值 1.0 此参数无效,主要思想:不总是从分布高概率区域中选词,而是从信息含量接近预期值typical_p(即接近模型的条件熵)的单词集合中采样。
论文:Typical Decoding for Natural Language Generation
6.do_sample

是否开启采样,默认是 False,即贪婪找最大条件概率的词。

7.max_new_tokens

最大可以生成的新词,和max_length作用一致,不同时使用

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值