我仅仅是想测试一下软件如何部署,如何使用。因为刚刚开始用Python,尽量想用venv,但是在venv环境下直接跑6B没问题,但是6B-int4始终提示两个.so文件打不开。 后来我想可能是venv环境问题。
用vmware workstation创建了Win10的虚拟机,安装的python3.10.11, swigwin-4.1.1, w64devkit-1.18.0(下载的都是百度到的ZIP文件,可以解压后添加WINDOWS系统PATH路径使用。TDM-gcc安装的时候是需要翻墙下载的),再次通过pip install -requrements.txt 一次性安装成功。 ChatGLM2包含三个python可执行文件。
其中cli_demo.py 直接用python cli_demo.py运行报错没有readline,直接删除import readline。 再次运行即可
web_demo2.py使用streamlit run 即可。
其它的见网上朋友的文档。注意,虚拟机下运行极其慢,几乎是两三秒一个字的慢慢蹦
总结: 有这种动态库需求的,不能在python venv环境下使用
感谢前辈们的贡献。