MindNLP ChatGLM-6B StreamChat
本案例基于MindNLP和ChatGLM-6B实现一个聊天应用。
1 环境配置
!export HF_ENDPOINT=https://hf-mirror.com
!pip install mindnlp
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14
2 代码开发
下载权重大约需要10分钟
from mindnlp.transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import gradio as gr
import mdtex2html
import mindnlp
model = AutoModelForSeq2SeqLM.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope").half()
model.set_train(False)
tokenizer = AutoTokenizer.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope")
3 模型体验
可以修改下列参数和prompt体验模型
总结为不是很智能