9.4 聊天模块
在前面的管道(pipeline)操作中用到了方法apply_chat_template(),这个方法用用于将聊天模板应用于消息内容。聊天模板是一种设置模型在对话中接收消息的方式,其中包含了"角色"的概念。每个模型都有自己的聊天模板,因此使用不同的模型需要使用相应的模板。在Gemma模型技术文档中说明了使用特定的标记来设置角色的指南:
- 表示用户回合的标记:user
- 表示模型回合的标记:model
- 表示对话回合开始的标记:<start_of_turn>
- 表示对话回合结束的标记:<end_of_turn>
9.4.1 聊天模板
在本项目的聊天模板应用中,将按Gemma模型的建议来设置不同的角色。