Ubuntu 18.04 x86_64 Nvidia P40 *8安装unsloth开发环境

问题

最近在弄大模型微调，找到了一个微调平台unsloth，但是按照其官方给的指令安装环境后，总是存在问题，经过摸索之后，成功。此博客是记录。
unsloth的GitHub链接：unsloth
conda下的官方指令：

conda create --name unsloth_env python=3.10
conda activate unsloth_env

conda install pytorch-cuda=<12.1/11.8> pytorch cudatoolkit xformers -c pytorch -c nvidia -c xformers

pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"

pip install --no-deps trl peft accelerate bitsandbytes

硬件驱动和cuda

在没有 硬件驱动 和 cuda 的条件下
进入英伟达网页，基于上述硬件选择

可以得到下载和安装指令

具体指令如下

# 下载安装包
sudo wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
# 将下载的runfile文件设为可执行
sudo chmod +x cuda_11.8.0_520.61.05_linux.run
# 开始安装
sudo sh cuda_11.8.0_520.61.05_linux.run

如果有硬件驱动，先删除硬件驱动。
直接勾选安装包内的硬件驱动一同安装，兼容性更好。
示意图如下（红色方框代表勾选内容）

conda环境

conda create --name unsloth_env python=3.10
conda activate unsloth_env
conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda=11.8 -c pytorch -c nvidia
conda install xformers -c xformers
conda install cudatoolkit
conda install transformers
pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
pip install --no-deps trl peft accelerate bitsandbytes