1. 安装 cuda
大多数新发布的大语言模型使用了较新的 PyTorch v2.0+ 版本,Pytorch 官方认为 CUDA 最低版本是 11.8 以及匹配的 GPU 驱动版本。详情见Pytorch官方 如下图:
1.1 下载 cuda
cuda 12.1 官方网站:
下载:
$wget https://developer.download.nvidia.com/compute/cuda/12.1.1/local_installers/cuda_12.1.1_530.30.02_linux.run
1.2 安装 cuda
$sudo sh cuda_12.1.1_530.30.02_linux.run
然后,接受协议
由于已经安装显卡驱动,选择不安装,然后光标到 install 处,点击回车
同意覆盖原有的 /usr/local/cuda
查看cuda:
$ ll /usr/local/cuda
lrwxrwxrwx 1 root