主流模型Chat Template微调模版汇总

🍻Chat Template

有了transfomers框架后我们的微调工作都变得简单了起来，我们在自己进行一些模型的微调时主要的操作就是构建自己的数据集及数据格式，不同模型的在训练时都使用了不同的template。

因此，我从官方参考或实现中收集了几种主流模型的官方模板，以供大家自己进行微调时参考。

完整且持续更新的的Chat Template模板详见github项目 ：https://github.com/mst272/LLM-Dojo/tree/main/chat_template

如果觉得有帮助欢迎大家star或者提交issue 及 pr

说明

不同模型在是否存在默认system message上有所不同(大多数模型都是没有的)，所以以官方是否有为标准。

每个模型都附上了有system版本和无system版本，如果在自己训练模型的时候希望加上system message可以参照template模板自行添加。

(建议的做法是：如果官方没提供默认system message，可直接使用无system版本)

Qwen

官方版本默认的system message即：You are a helpful assistant

<|im_start|>system
You are a helpful assistant<|im_end|>
<|im_start|>user
This is a instruction<|im_end|>
<|im_start|>assistant
This is a answer<|im_end|>

Yi

官方版本没有默认的system message，可以与llama一样不加system message使用，有

<|im_start|>system
This is a system message<|im_end|>
<|im_start|>user
This is a instruction<|im_end|>
<|im_start|>assistant
This is a answer<|im_end|>

• 无system模式

<|im_start|>user
This is a instruction<|im_end|>
<|im_start|>assistant
This is a answer<|im_end|>

Gemma

官方版本不支持system

• 无system模式

<bos><start_of_turn>user
This is a instruction<end_of_turn>
<start_of_turn>model
This is a answer<end_of_turn>