昇思25天训练营Day15 - MindNLP ChatGLM-6B StreamChat

MindNLP ChatGLM-6B StreamChat

本案例基于MindNLP和ChatGLM-6B实现一个聊天应用。

安装环境

!pip install mindnlp
!pip install mdtex2html

配置网络线路

!export HF_ENDPOINT=https://hf-mirror.com

2 代码开发

下载权重大约需要10分钟

from mindnlp.transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import gradio as gr
import mdtex2html

model = AutoModelForSeq2SeqLM.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope").half()
model.set_train(False)
tokenizer = AutoTokenizer.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope")

可以修改下列参数和prompt体验模型

prompt = '你好'
history = []
response, history = model.chat(tokenizer, prompt, history=history, max_length=20)
response

'你好👋！我是人工智能助手 ChatGLM-6B'

prompt = "介绍一下mindspore"
response, history = model.chat(tokenizer, prompt, history=history, max_length=200)
response

'MindSpore 是一个人工智能系统，旨在创建具有思考能力的自主机器人。它是一个基于微控制器的开源平台，可以运行各种编程语言，包括 C++,Python 和 Swift。MindSpore 的核心技术是 GPT(Generative Pretrained Transformer)，这是一种可以学习如何生成文本的深度学习模型。通过使用 GPT 模型，MindSpore 可以识别和理解自然语言，并生成与输入相关的文本。MindSpore 还提供了各种工具和框架，方便开发人员构建、训练和测试自己的 GPT 模型。'

history

[('你好', '你好👋！我是人工智能助手 ChatGLM-6B'),
 ('介绍一下mindspore',
  'MindSpore 是由中国人工智能公司 DeepMind 开发的一款人工智能操作系统，旨在构建智能体。它采用了一种类似于神经网络的技术，通过将大量的数据输入到系统中，让系统自己学习并生成新的策略，从而实现类似于人类的智能决策。MindSpore 还具备深度学习、强化学习和自然语言处理等技术，能够实现自主的感知、规划和行动。目前，MindSpore 已经应用于一些领域中，如机器人、自动驾驶和智能家居等。')]