服务器配置miniconda+cudatookit+pytorch训练ChatGLM-6B微调

使用清华镜像下载miniconda

wget -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh

安装miniconda

bash Miniconda3-latest-Linux-x86_64.sh

一路回车和输入yes, 安装结束需要关闭xshell窗口断开连接, 重新连接服务器之后再shell之前会显示(base)环境, 表示当前在conda的base环境下, 也可以使用下面的方式检查安装是否成功

conda -V

conda 23.3.1

安装cudatoolkit, 首先通过查看服务器gpu使用情况来确定显卡驱动和CUDA版本

nvidia-smi

查询显卡驱动对应的兼容安装的cudatookit版本 CUDA 12.1 Update 1 Release Notes

 我们选择安装CUDA 11.2.0 GA, 接着查看系统版本

lsb_release -a

No LSB modules are available.
Distributor ID:    Ubuntu
Description:    Ubuntu 18.04.5 LTS
Release:    18.04
Codename:    bionic

接着根据上述版本生成下载命令 CUDA Toolkit Archive | NVIDIA Developer

 根据生成的指令下载cudatoolkit

wget https://developer.download.nvidia.com/compute/cuda/11.2.0/local_installers/cuda_11.2.0_460.27.04_linux.run

安装cudatoolkit, 我是普通用户, 没有sudo权限, 为普通用户配置cudatookit需要配置安装路径

运行cudatoolkit安装程序

sh cuda_11.2.0_460.27.04_linux.run

选择continue后输入accept, 只安装CUDA Toolkit 11.2, 其他用空格取消

 然后进入Options选择Toolkit Options->Change Toolkit Install Path

将地址/usr/local/cuda-11.2/ 改为(我的用户名是wangyf)

/home/wangyf/cuda-11.2

回车后Done->Done, 然后选择install, 安装完毕使用nvcc -V并不能检测到安装结果