MindNLP ChatGLM-6B StreamChat
终于要开始进行一些大语言模型的实验了。大模型才是比较火的。
实验环境已经预装了mindspore==2.2.14,如需更换mindspore版本,可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14
其实即使按照实验里面的脚本仍然不能够运行,因为它少了两个东西,所以你需要安装下面两个包。
!pip install mindnlp mdtex2html -Uq
这个就是如果你要从哈根上面下载模型,你就需要加速。需要设置这样的环境变量。但是实验里面的脚本是从摩达社区下载的。这就意味着你并不需要设置这个环境变量。
这就是下载这个模型和准备运行它的方法。这里面可以看到使用的精度是fp16。
准备和这个模型聊天,你可以给他说你好。然后它就会输出来。你好,我是人工智能助手。
我可以再问他一些别的问题。他依然可以跟继续跟我聊天。
借助于这个模型的方法设计,所以他会把聊天历史返回出来。我们只需要把这个返回出来的聊天历史又塞回去给到他的输入。然后他就能够记得整个你跟他聊天的历史,从而实现有上下文,有记忆的聊天。,
聊天的历史是这个变量但是这个变量里面是一个,但是这个变量里面是一个数组。每一个元素都是一轮你跟他聊天的记录。前面一个是你的记录,后面一个是AI输出的记录。这样就可以组织成一个聊天的完整记录。