python -m bitsandbytes - UDA Setup failed despite GPU being available. Please run the following command to get more information:
win10 系统 +cuda12.1 + torch2.0.1
当进行大模型的训练的过程中,会遇到有关量化的问题,需要安装
官方未提供对应的 bitsandbytes的win版本;
非官方地址: https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels
备注:非官网,跳转还是比较慢的,请耐心等待,测试是有效的。