qq_61757090的博客

原创 chatglm3-6B本地部署

在此文件夹下cmd，创建一个专门独立的虚拟环境（部署要求较高，需要运存6G，python建议3.10及以上，transformers 库版本推荐为 4.30.2，torch 推荐使用 2.0 及以上的版本）然后进行在langchain中接入大模型，先在下载的chatglm里面找到api.py，修改路径地址path为后下载huggingface的地址，并按需修改量化模式，具体如下。写下述代码运行，发送post请求，将url改为本地端口，运行代码进行测试，question：后面输入提问，测试成功即完成部署。