大模型Prompt Template格式

最新推荐文章于 2024-10-13 18:14:54 发布

落难Coder

最新推荐文章于 2024-10-13 18:14:54 发布

阅读量200

点赞数 2

分类专栏： LLMs 文章标签： prompt llm 大模型大语言模型 llama

本文链接：https://blog.csdn.net/u014297502/article/details/141000754

版权

LLMs 专栏收录该内容

17 篇文章 2 订阅

订阅专栏

在微调过程中，发现每个大模型的Prompt Template都不一样，不知道从哪里能够找到针对特定模型的正确的Prompt Template，用来做指令微调？

可以在模型文件中搜索 build_inputs函数，如果有chat模型的话，一般会有这个函数；
可以使用transformers的tokenizer.apply_chat_template(messages, tokenize=False)，tokenize=False可以保证只输出未经token化的prompt；

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("facebook/blenderbot-400M-distill")

chat = [
   {"role": "user", "content": "Hello, how are you?"},
   {"role": "assistant", "content": "I'm doing great. How can I help you today?"},
   {"role": "user", "content": "I'd like to show off how chat templating works!"},
]

tokenizer.apply_chat_template(chat, tokenize=False)