20240511大模型开发日记-Qwen1.5-110B-chat cpu版量化和open-webui部署
make完之后,输入python convert.py /allUser/two/demo/model/Qwen1.5-110B-Chat --outfile /allUser/two/demo/model/Qwen1.5-110B-Chat/ggml-model-f16-cpu.gguf --vocab-type bpe --pad-vocab 这个命令。这次为了调试,所以要在本地上也部署一份,在win11上部署要有个Node.js >=20.10和py>=3.11。目前就这样,然后后面再安装。
原创
2024-05-11 18:30:54 ·
349 阅读 ·
0 评论