大模型chatglm3-6b （部署本地教程）

大模型chatglm3-6b （部署本地教程）

1.首先看电脑cuda配置

2.然后根据https://blog.csdn.net/weixin_45597212/article/details/135553151安装

​ 1.cuda官网https://developer.nvidia.com/cuda-toolkit-archive

2.cudNN官网https://developer.nvidia.com/cudnn-downloads




链接https://pytorch.org/get-started/locally/


2.https://zhipu-ai.feishu.cn/wiki/WvQbwIJ9tiPAxGk8ywDck6yfnof?chunked=false大模型文档

3.git地址https://github.com/THUDM/ChatGLM3

4.去魔搭社区下载模型https://modelscope.cn/studios/ZhipuAI/chatglm3-6b-demo/summary

5.拉取代码,安装依赖

6.执行cli_demo