大模型开源的工具包有哪些特殊符号可以使用；SEP 是什么

大模型开源的工具包有哪些特殊符号可以使用

自定义特殊token：special_tokens=True

tokenizer.add_tokens([“[症状]”, “[诊断]”], special_tokens=True)

一、对话轮次分隔符（必选）

符号	全称/含义	适用模型	场景示例（客服对话）
`<	User	>`	用户输入起始
`<	Bot	>`	助理回复起始
【用户】	中文方括号角色标记	悟道、书生模型	【用户】单号123<SEP>【客服】已加急处理

代码适配（ChatGLM训练）：

tokeni