llm
文章平均质量分 84
大鸣王潮2024
有书读了
展开
-
gpt2Tokenizer
nn.Embedding,根据字符对应的序号取,是可训练的Token是大模型的原子,一切都以标记为单位,与标记有关,不要忽略它!!非英语语言表现较差,英语比非英语多得多训练数据,得到更长的优质tokengpt2写python不利,太多缩进,gpt2把空格都当成了token同样的文本,gpt4的token数量比gpt2少一半,这是因为其token数量是gpt2的两倍,但这并不是好事,这意味着embedding表会非常大但有个最佳点,所有词汇表中的token数量恰到好处,适当密集且高效。原创 2024-09-09 11:08:57 · 665 阅读 · 0 评论 -
大模型prompt构造方法
*{})等等,在GPT的输入中,这些符号的作用不仅仅是语法上的,它们还能帮助模型理解和区分问题的不同部分,从而提高回答的准确性。可以使用否定句,但应当尽量为每一个否定句都设置一个兜底策略,使大模型识别到不应当做什么的时候,给出预设的回复,如果没有设置兜底策略,让大模型继续在不要xxx的约束下继续生成答案,就很有可能出错。使用官方、书面、礼貌、友善的语言撰写Prompt,力求语句流畅、意图清晰、表达精简,确保Prompt所描述的相关任务易读、易懂、易操作。逗号 (,)用途:用于分隔列表项或独立的概念。原创 2024-09-09 10:32:22 · 295 阅读 · 0 评论