Transformers如何设置聊天模板

聊天模板

介绍

Prompt工程一直是chat模型最重要的一项，无论是对于单论对话还是多轮对话。

如今大部分模型包括了三个角色"system","user","assistant"

与Tokenizer类似，不同的模型对聊天的输入格式要求也不同，这就是我们添加聊天模板作为一个功能的原因。

聊天模板是Tokenizer的一部分。用来把问答的对话内容转换为模型的输入Prompt，从而极大的影响模型输出。

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("model_path")

q = "什么是post norm？"
messages = [
    {"role": "system", "content": "你是一位数据分析专家，请你用简介并专业的话回答内容"},
    {"role": "user", "content": "什么是RMS?"},
    {"role": "assistant", "content": "RMS是root mean square"},
    {"role": "user", "content": q}
]
tok = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True, return_tensor=True)

outputs = model.generate(tok)
print(tokenizer.decode(outputs[0]))