ChatGLM2-6B通过命令行和网页demo访问

在上一篇文章中已经在本地部署了ChatGLM2-6B FP16 / BF16版本（需要12.6G显存）。

这里再进行进一步的学习尝试和记录。

项目目录，pycharm最终形成的项目如下：

分别尝试以下几个demo：

1、命令行对话

cli_demo.py直接在命令行进行对话：

要修改就是本地模型的路径

这里“.”代表的是当前目录。注意这里一定要用“\\”否则会报错。我们运行一下试试：

能够正常进行对话！

我们查看一下CPU以及GPU的占用情况，大家可以参考：

内存占用4个多G（也有可能是我开启的时间有点久）。

关键是显存占用12.5G，利用率只有1%（因为这里只运行，并没有训练吧；之前试过用8G显存的1070m试过轻量版的，大概占用7G）。

2、网页界面对话web_demo.py

运行web_demo.py

也要修改模型加载路径：

右键运行

报错：

提示：Textbox 对象没有 style 属性

网上搜索得出：

我试试：

卸载：

安装：

再次运行web_demo.py

哇哦，确实可以用！开始对话：

介绍的python学习路径非常详细。

查看一下系统占用：

与命令行版本的差不多。

3、再运行web_demo2.py

同样修改路径：

运行：

一堆报错。但是我在开始的教程中看到：

嗯哼，试试。

安装成功

再次运行web_demo2.py

还是报错！

再去Git Hub上查看：

原来是采用命令：

streamlit run web_demo2.py

再pycharm终端中运行：

哇哦，没有问题！这里让输入email的，忘记截图了，网页自动打开：

开始对话：

完全没有问题，体验比刚刚的网页demo还要好一点。

查看一下资源占用情况：

跟之前的一模一样，同时电脑也运行流畅，欧克欧克！

接下来会进一步尝试学习微调大模型。