昇思25天学习打卡营第18天|MindNLP ChatGLM-6B StreamChat

现在各类chat AI不胜枚举，开源的闭源的都有，ChatGLM-6B是其中一个开源的chat AI模型，我们可以使用mindspore轻松的跑起来这个模型

官方提供的jupyter示例里面却少了安装mindnlp和mdtex2html，所以需要先把这两个模块安装一下。

!pip install mindnlp
!pip install mdtex2html

然后就可以跑代码了

from mindnlp.transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import gradio as gr
import mdtex2html

model = AutoModelForSeq2SeqLM.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope").half()
model.set_train(False)
tokenizer = AutoTokenizer.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope")

受限于算力原因，回复的速度比较慢。