ChatGLM-6B是一个由清华大学和智谱AI联合研发的开源对话语言模型。它是一个支持中英双语问答的对话系统,并在中文方面进行了特别的优化。
该模型基于General Language Model (GLM)架构,具有62亿参数。借助模型量化技术,用户可以在消费级的显卡上进行本地部署,INT4量化级别下最低只需6GB显存。ChatGLM-6B使用了和ChatGLM相同的技术,针对中文问答和对话进行了优化经过约1T标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。
模型效果演示
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。
response, history = model.chat(tokenizer, "介绍一下你自己", history=history)
print(response)
我是人工智能助手 ChatGLM-6B,由清华大学 KEG 实验室和智谱