大模型chatglm3-6b (部署本地教程)
1.首先看电脑cuda配置
2.然后根据https://blog.csdn.net/weixin_45597212/article/details/135553151安装
1.cuda官网https://developer.nvidia.com/cuda-toolkit-archive
2.cudNN官网https://developer.nvidia.com/cudnn-downloads
链接https://pytorch.org/get-started/locally/
2.https://zhipu-ai.feishu.cn/wiki/WvQbwIJ9tiPAxGk8ywDck6yfnof?chunked=false大模型文档
3.git地址https://github.com/THUDM/ChatGLM3
4.去魔搭社区下载模型https://modelscope.cn/studios/ZhipuAI/chatglm3-6b-demo/summary
5.拉取代码,安装依赖
6.执行cli_demo