在高版本CUDA的条件下，bitsandbytes发现低版本CUDA SETUP，完美解决方案，免费用。

已于 2023-06-16 13:22:23 修改
阅读量4.9k 收藏 13
点赞数 10
文章标签： python 算法 人工智能 机器学习
于 2023-06-16 11:38:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gh373648449/article/details/131243441
版权

1.前提条件

CUDA版本：CUDA Version: 11.6
bitsandbytes版本是：bitsandbytes 0.35.0

在安装完成kohya_ss项目后，准备做大模型训练的过程中遇到以下错误

=BUG REPORT=
Welcome to bitsandbytes. For bug reports, please submit your error trace to: https://github.com/TimDettmers/bitsandbytes/issues
For effortless bug reporting copy-paste your error into this form: https://docs.google.com/forms/d/e/1FAIpQLScPB8emS3Thkp66nvqwmjTEgxp8Y9ufuWTzFyr

最低0.47元/天 解锁文章
gh373648449
关注
  • 10
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
已经安装高版本CUDA的条件下bitsandbytes发现低版本的CUDA SETUP: Detected CUDA version 100解决方案
weixin_43178406的博客
06-07 8万+
本文主要介绍了已经安装高版本CUDA的条件下bitsandbytes发现低版本的CUDA SETUP: Detected CUDA version 100解决方案，希望能对使用bitsandbytes库的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
解决llama factory运行报错：The installed version of bitsandbytes was compiled without GPU support亲测可用
最新发布
炼丹炉里有煤灰
05-14 808
尝试了网上各种方法都没有，后来发现是torch装错了版本，由于llama factory采用并行计算 bitsandbytes 无法使用gpu引起的问题。如果返回ture就是支持，你可以继续往下看，如果返回false就是不支持。首先确定安装好了cuda，控制台敲 nvcc -V 如果有返回结果就说明成功安装了。然后查看torch是否支持gpu，依次在命令行中敲入，或直接编写py脚本执行均可。在安装时提示入口错误。经过排查发现是安装途径有问题。搞llama factory时环境出了问题，运行时会提示。
Pytorch 使用不同版本的cuda的方法步骤
09-17
主要介绍了Pytorch 使用不同版本的cuda的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
bitsandbytes 是 CUDA 自定义函数的轻量级包装器，特别是 8 位优化器、矩阵乘法 (LLM.int8()) 和量化函数。
人工智能曾小健
07-04 2471
对于 NLP 模型，我们还建议使用 StableEmbedding 层（见下文），这可以改善结果并有助于稳定的 8 位优化。请注意，默认情况下，所有少于 4096 个元素的参数张量都保持为 32 位，即使您使用 8 位优化器初始化这些参数也是如此。这样做是因为这样小的张量不会节省太多内存，并且通常包含高度可变的参数（偏差）或需要高精度的参数（批量规范、层规范）。为此，我们需要做两件事：(1) 在参数仍在 CPU 上时注册参数，(2) 使用新的所需超参数覆盖配置（随时随地）。如果这些不起作用，请参阅下文。
CUDA版本选择与安装（不同的深度学习项目需要不同CUDA）
weixin_44859553的博客
09-07 1332
（可以，但是需要改，会报以下几种错误，一般import tensorflow.compat.v1 as tf代替 import tensorflow as tf 可解决）；(1)在3060的机器上安装cuda 10(拿到机器后的本能反应）(2)tensorflow1的项目使用tensorflow2环境跑。(非常有用，对环境搭不起来有启发性作用，能避免踩别人踩过的坑。(3)换项目，读代码，读项目中的issues。
关于windows上运行bitsandbytes老是报错的（说cuda版本有问题）解决方案
dalaomanzou的博客
09-21 6105
最后在网上找到高人的回复，原来一开始就想错方向了，根本就是这个bitsandbytes的版本不对，整死个人。甚至自己在那里加些莫名其妙的环境变量（后来才知道那玩儿是linux上才用的环境变量），醉了。甚至以为是环境变量有问题，没有对应的环境变量，导致程序找不到对应的cuda环境。所以多方尝试，卸载了又装，多个cuda版本都卸载和安装了多次，以排查问题。本来我就奇怪，我都进的是虚拟环境了，怎么还是cuda环境有问题。我以为是自己电脑上装了多个版本的cuda，导致冲突。报错问题基本上都是什么。
【个人笔记】windows 安装bitsandbytes，auto-gptq
M2087的博客
06-21 3192
aoto-gptq目前好像只支持cuda11.7和11.8。怒...我的cuda11.6重装了(虽然并没有很麻烦)
Py之bitsandbytes：bitsandbytes的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-22 1万+
​ Py之bitsandbytes：bitsandbytes的简介、安装、使用方法之详细攻略 目录 bitsandbytes的简介 bitsandbytes的安装 bitsandbytes的使用方法 bitsandbytes的简介 bitsandbytes是对CUDA自定义函数的轻量级封装，特别是针对8位优化器、矩阵乘法（LLM.int8()）和量化函数。 GitHub：https://github.com/TimDettmers/bitsandbytes
torch.cuda.is_available（）返回False解决方案
12-21
这种情况下，你需要确保安装的PyTorch版本与你的CUDA版本匹配。可以通过访问PyTorch官网或使用指定CUDA版本的安装命令来解决这个问题。例如，对于CUDA 10.0，可以使用如下命令安装： ``` pip install ...
python -m bitsandbytes输出False
dandandancpop的博客
11-29 1034
Bitsandbytes以前不支持windows。
ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
热门推荐
结构之法 算法之道
03-31 6万+
随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出，绝大部分公司的技术 产品 服务，以及绝大部分人的工作都将被革新一遍类似iPhone的诞生 大家面向iOS编程 有了App Store现在有了ChatGPT插件/GPT应用商店，以后很多公司 很多人面向GPT编程(很快技术人员分两种，一种懂GPT，一种不懂GPT)然ChatGPT/GPT4基本不可能开源了，而通过上文《
bitsandbytes 报错
weixin_43967256的博客
10-24 843
配置一下环境变量就好了。
关于本机 CUDA 运行版与驱动版不匹配的解决方案
m0_59705760的博客
07-13 9265
关于本机 CUDA 运行版与驱动版不匹配的解决方案
Ubuntu18.04+CUDA11安装bitsandbytes出现的问题
steptoward的博客
01-10 1290
大意是bitsandbytes库在环境中找到了libcudart.so， 但是这与bitsandbytes需要使用的不一致。查看了一下当前系统查找动态库的路径，发现的确不存在，将查找到的路径添加进去便解决这个问题了。安装了，运行发现使用这个库还需要与cuda版本匹配, 于是根据报错内容逐步进行解决。查找了一下需要的动态库是否存在于系统中，发现在系统中能够查找到之后，成功后会输出在系统中找到的多个动态库路径等信息，输出的结尾中会显示。最后重新安装bitsandbytes，运行。于是，按照报错中的提示，首先。
小记一下在wenda上使用通义千问
geek2077的博客
08-12 683
前几天阿里发布了他们的开源大语言模型通义千问（qwen），而闻达作为一个LLM调用平台，就十分适合qwen。在闻达中运行int8量化后的qwen-7b-chat模型
深度学习环境搭建 cuda、模型量化bitsandbytes、git-lfs安装教程 windows、linux
m0_61634551的博客
08-19 3645
输入以下命令，查看 GPU 支持的最高 CUDA 版本。nvidia-smi。
linux Ubuntu Python 3.10 环境报错与解决方案集合
Jay_fearless的博客
05-11 2982
使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调 环境配置
peft / bitsandbytes包windows安装问题
weixin_37862609的博客
12-04 1623
折腾了一下午这个报错，终于解决了，写一下解决方法下，希望对大家有帮助。
linux卸载低版本cuda安装高版本cuda
07-27
你可以按照以下步骤卸载低版本的 CUDA 并安装高版本的 CUDA： 1. 首先，使用以下命令卸载低版本的 CUDA： ``` sudo apt-get --purge remove "cuda*" ``` 2. 然后，删除 CUDA 相关的文件和目录。运行以下命令来删除可能存在的残留文件： ``` sudo rm -rf /usr/local/cuda* ``` 3. 接下来，安装高版本的 CUDA。首先，前往 NVIDIA 官方网站（https://developer.nvidia.com/cuda-downloads）下载适用于你的系统的 CUDA 安装包。 4. 下载完成后，使用以下命令进入下载目录（假设你的下载目录为 ~/Downloads）： ``` cd ~/Downloads ``` 5. 解压下载的 CUDA 安装包。运行以下命令，将 `<cuda-x-x>` 替换为你下载的文件名： ``` tar -xzvf <cuda-x-x>.run ``` 6. 进入解压后的目录： ``` cd cuda-x.x ``` 7. 运行安装程序（假设你想将 CUDA 安装在默认目录 /usr/local/cuda 下）： ``` sudo ./cuda-installer ``` 8. 安装过程中，你可能需要回答一些安装选项和授权许可相关的问题。请根据提示进行操作。 9. 安装完成后，你需要将 CUDA 添加到环境变量中。运行以下命令来编辑 ~/.bashrc 文件： ``` nano ~/.bashrc ``` 10. 在文件末尾添加以下行： ``` export PATH=/usr/local/cuda/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH ``` 11. 按下 `Ctrl + X` 保存并退出编辑器。 12. 最后，运行以下命令使环境变量生效： ``` source ~/.bashrc ``` 现在，你已经成功卸载了低版本的 CUDA 并安装了高版本的 CUDA。你可以使用 `nvcc --version` 命令来验证安装是否成功。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值