ChatGLM2-6b小白部署教程的补充(windows系统,16G内存即可,对显卡无要求,CPU运行)

作者分享了在使用Python部署过程中遇到的问题,尤其是在venv环境下无法处理6B-int4的.so文件。通过在Win10虚拟机上安装必要的工具包并解决readline依赖,发现动态库需求需避开venv环境。
摘要由CSDN通过智能技术生成

我仅仅是想测试一下软件如何部署,如何使用。因为刚刚开始用Python,尽量想用venv,但是在venv环境下直接跑6B没问题,但是6B-int4始终提示两个.so文件打不开。 后来我想可能是venv环境问题。

用vmware workstation创建了Win10的虚拟机,安装的python3.10.11, swigwin-4.1.1, w64devkit-1.18.0(下载的都是百度到的ZIP文件,可以解压后添加WINDOWS系统PATH路径使用。TDM-gcc安装的时候是需要翻墙下载的),再次通过pip install -requrements.txt 一次性安装成功。 ChatGLM2包含三个python可执行文件。

其中cli_demo.py 直接用python cli_demo.py运行报错没有readline,直接删除import readline。 再次运行即可

web_demo2.py使用streamlit run 即可。 

其它的见网上朋友的文档。注意,虚拟机下运行极其慢,几乎是两三秒一个字的慢慢蹦

总结: 有这种动态库需求的,不能在python venv环境下使用

感谢前辈们的贡献。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值