Ubuntu 部署ChatGLM3-6B模型_ubuntu 23 chatglm3本地部署

部署环境

云服务器配置：32C256G GPU：v100
操作系统 ：Ubuntu22.04
CUDA版本：12.2

安装驱动

sudo ubuntu-drivers autoinstall

安装anaconda

anaconda官网下载安装包

anaconda下载链接Anaconda3-2024.02-1-Linux-x86_64.sh
选择正确的版本进行下载，本次选择Linux版本下载，得到Anaconda3-2024.02-1-Linux-x86_64.sh文件

#因为我这里创建好了/root/anaconda3的目录，所以加了-u参数
sh Anaconda3-2024.02-1-Linux-x86_64.sh -u
yes
yes

按照流程安装后，要重新进入命令行，才生效

配置conda参数

# 配置conda环境
conda config --show channels
conda config --remove channels defaults
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/