Ubuntu 部署ChatGLM3-6B模型_ubuntu 23 chatglm3本地部署

最新推荐文章于 2024-10-04 18:34:16 发布

2401_83817418

最新推荐文章于 2024-10-04 18:34:16 发布

阅读量195

点赞数 6

分类专栏：程序员文章标签： ubuntu linux 运维

本文链接：https://blog.csdn.net/2401_83817418/article/details/137702362

版权

本文介绍了在Ubuntu 22.04操作系统上，针对配备32核CPU和V100 GPU的云服务器，如何部署ChatGLM3-6B模型。首先，通过`ubuntu-drivers autoinstall`命令安装驱动。接着，从Anaconda官网下载并安装Anaconda3-2024.02。在安装完成后，需要重新打开命令行使配置生效。然后，根据官方指导配置conda环境并安装PyTorch。最后，下载模型代码和权重文件以完成部署。

摘要由CSDN通过智能技术生成

部署环境

云服务器配置：32C256G GPU：v100
操作系统 ：Ubuntu22.04
CUDA版本：12.2

安装驱动

sudo ubuntu-drivers autoinstall

安装anaconda

anaconda官网下载安装包

anaconda下载链接Anaconda3-2024.02-1-Linux-x86_64.sh
选择正确的版本进行下载，本次选择Linux版本下载，得到Anaconda3-2024.02-1-Linux-x86_64.sh文件

#因为我这里创建好了/root/anaconda3的目录，所以加了-u参数
sh Anaconda3-2024.02-1-Linux-x86_64.sh -u
yes
yes

按照流程安装后，要重新进入命令行，才生效

配置conda参数

# 配置conda环境
conda config --show channels
conda config --remove channels defaults
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/