【大模型Stable Diffusion】pip安装bitsandbytes后训练报错CUDA Setup failed despite GPU being available

系统环境

GPU: 3060

CUDA：11.6（确保CUDA、cuDNN已安装且添加好环境变量）

操作系统：Win11（Linux的朋友可以参考文末的Issues，再结合GPT相信可以解决的）

---

问题描述

错误：CUDA Setup failed despite GPU being available. Please run the following   command to get more information

截图：

bitsandbytes主要作用：使用 INT8 量化来加载大模型

---

原因分析

分析：Bitsandbytes以前是不支持windows的 / CUDA环境问题

---

解决方案：

python.exe -m pip uninstall bitsandbytes

# 如果有安装
python.exe -m pip uninstall bitsandbytes--windows

pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.1-py3-none-win_amd64.whl

输入命令：

python -m bitsandbytes

如安装成功则：

---

 推荐参考

官方issues：https://github.com/TimDettmers/bitsandbytes/issues/305