一、下载模型:
1、在 Git 仓库中为仓库初始化相关配置
git lfs install
2、clone代码 (魔塔的地址)
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
3、切换到chatglm2-6b目录下载大模型
cd chatglm3-6b
git lfs pull
比较耗时找个网络好的环境下载
二、下载源码:
从github上找到模型对应的源码进行下载
三、软件依赖:
pip install protobuf 'transformers>=4.30.2' cpm_kernels 'torch>=2.0' gradio mdtex2html sentencepiece accelerate
pytorch 进行自己手动安装 最好安装GPU版本,查看对应的CUDA版本向下兼容,首次安装pytorch的需要安装cudnn
nvidia-smi
pythorch 官网:https://pytorch.org/去掉-c pytorch 使用国内源进行安装