Windows中bitsandbytes关于CUDA报错的解决方案

最新推荐文章于 2024-09-12 11:37:47 发布
最新推荐文章于 2024-09-12 11:37:47 发布
阅读量787 收藏 1
点赞数
文章标签： windows python langchain
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46411133/article/details/135220388
版权

前言

跑Llama2-Chinese官方demo，需要安装这个bitsandbytes库，但是一直报错:

Inspect the output of the command and see if you can locate CUDA libraries. You might need to add them
        to your LD_LIBRARY_PATH. If you suspect a bug, please take the information from python -m bitsandbytes

以为是多个cuda版本出错结果是库的问题，后再github上找到兼容windows的whl，可访问:
链接: bitsandbytes-windows-webui
或者直接使用

python -m pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.40.1.post1-py3-none-win_amd64.whl
Joe_cccc
关注
使用bitsandbytes出现CUDA detection failed解决方案
weixin_43178406的博客
04-14 4万+
本文主要介绍了使用bitsandbytes出现CUDA detection failed解决方案，希望能对使用GPU的同学有所帮助。 文章目录 1. 问题描述 2. 解决方案
已经安装高版本CUDA的条件下bitsandbytes发现低版本的CUDA SETUP: Detected CUDA version 100解决方案
热门推荐
weixin_43178406的博客
06-07 8万+
本文主要介绍了已经安装高版本CUDA的条件下bitsandbytes发现低版本的CUDA SETUP: Detected CUDA version 100解决方案，希望能对使用bitsandbytes库的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
关于windows上运行bitsandbytes老是报错的（说cuda版本有问题）解决方案
dalaomanzou的博客
09-21 6944
最后在网上找到高人的回复，原来一开始就想错方向了，根本就是这个bitsandbytes的版本不对，整死个人。甚至自己在那里加些莫名其妙的环境变量（后来才知道那玩儿是linux上才用的环境变量），醉了。甚至以为是环境变量有问题，没有对应的环境变量，导致程序找不到对应的cuda环境。所以多方尝试，卸载了又装，多个cuda版本都卸载和安装了多次，以排查问题。本来我就奇怪，我都进的是虚拟环境了，怎么还是cuda环境有问题。我以为是自己电脑上装了多个版本的cuda，导致冲突。报错问题基本上都是什么。
开源项目教程：bitsandbytes-windows-webui
gitblog_00066的博客
08-21 868
开源项目教程：bitsandbytes-windows-webui bitsandbytes-windows-webuiWindows compile of bitsandbytes for use in text-generation-webui.项目地址:https://gitcode.com/gh_mirrors/bi/bitsandbytes-windows-webui 项目介绍 bit...
windows上运行bitsandbytes报错
xiaoxian666的博客
04-24 609
库, 支持 CUDA 11.1 到 12.2, 根据您的 CUDA 版本情况选择适合的。如果要在 Windows 平台上开启量化 LoRA（QLoRA），需要安装预编译的。（2）安装 bitsandbytes-windows。（1）直接安装预编译的库。
windows上bitsandbytes报错：AttributeError: module ‘bitsandbytes‘ has no attribute ‘nn‘
dandandancpop的博客
12-29 1902
bitsandbytes版本不对。
WIN下使用 bitsandbytes 出现 CUDA Setup failed despite GPU being available.错误
2303_79001442的博客
08-07 4277
今天玩一个开源项目时出现需要安装bitsandbytes 包，但是安装好后出现下面的报错。找了很多帖子，试了一些方法。
windows下bitsandbytes安装报错解决
baidu_32683111的博客
12-04 1546
最后找了半天，github：https://github.com/jllllll/bitsandbytes-windows-webui/releases有个。bitsandbytes安装，windows环境每次都遇到这种报错，记录下。有报错，但不影响，继续跑Chinese-LLaMA-Alpaca是正常的。，然而并卯什么卵用，
解决Python中使用bitsandbytes出现CUDA detection failed问题
带你成为别人眼中的大佬！
05-23 2623
然而，在使用bitsandbytes库进行GPU加速时，有时候会出现CUDA detection failed的错误提示，下面来介绍如何解决这个问题。如果以上两条检查都没有问题，但还是无法解决CUDA detection failed的问题，则可能是因为GPU驱动程序版本不匹配导致的问题。综上所述，通过检查CUDA安装、bitsandbytes版本和GPU驱动程序等方面，可以解决Python中使用bitsandbytes出现CUDA detection failed的问题。
cuda_setup.add_log_entry(“WARNING: Compute capability ＜ 7.5 detected解决方案
weixin_43178406的博客
04-13 8万+
本文主要介绍了cuda_setup.add_log_entry(“WARNING: Compute capability ＜ 7.5 detected解决方案，希望能对使用GPU的同学有所帮助。 文章目录 1. 问题描述 2. 解决方案
安装与pytorch不同cuda版本的bitsandbytes
最新发布
羊城迷鹿的博客
09-12 317
所以解决方案很简单，安装前输入一句。上，我找到了这样一段话。
CUDA Setup failed despite GPU being available.
qq_42681787的博客
08-07 4142
CUDA Setup failed despite GPU being available. Please run the following command to get more information: python -m bitsandbytes Inspect the output of the command and see if you can locate CUDA libraries. You might need to add them to your LD_LIBRARY_PATH.
训练自己业务的行业垂类大模型-生成式模型：从0到1复现ChatGLM的p-tuning和lora 微调
samoyan的博客,记录技术成长~
06-15 2467
ChatGLM-6B：我是一台人工智能助手，可以回答各种各样的问题，例如学术、语言、文化等方面的问题，提供有关历史、地理、科学、技术、社会和文化等各个领域的信息和知识，帮助用户解决问题和获取信息。我的功能是基于预先训练的大规模语言模型，通过对输入文本的响应来回答问题或完成任务。如果输出的是 Anaconda 中安装的 Python 的路径（例如：/home/user/anaconda/bin/python），则说明 Anaconda 环境已经成功激活了。ChatGLM-6B：你好👋！
[踩坑记] CUDA环境下bitsandbytes安装报错/异常解决
chenyang2203的博客
05-06 2万+
部署大模型LLaMA的过程中安装量化工具包bitsandbytes问题解决
关于bitsandbytes安装报错
cy853043693的博客
08-23 4037
关于微调大语言模型绕不开安装bitsandbytes，有很多小伙伴会报以上的error参考GitHub上bitsandbytes的issue发现很多人给了一些错误的方向，实际问题就是CUDA环境不干净，参考CSDN回答cuDNNCUDA我尝试了一种新的思路，或许不用删除CUDA程序（因为隐患很大）在重新配置环境之后保存导致我退出了虚拟环境，偶然进入了系统环境，然后离奇的发现安装完bitsandbytes之后可以直接进行python -m bitsandbytes显示安装成功。
linux Ubuntu Python 3.10 环境报错与解决方案集合
Jay_fearless的博客
05-11 3238
使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调 环境配置
【Linux】cuda安装ERROR: Unable to find the development tool `make` in your path； please...
weixin_44322778的博客
03-19 2266
解决方案 安装make sudo apt-get install make
服务器 conda时错误提示 The following specifications were found to be conflict：tensorflow
IT人生
05-17 2万+
查了很多都说要创建一个对应的新的conda安装环境我这里只是conda update conda 之后就没有问题了
CUDA安装+pytorch安装
sunmenmian的博客
09-01 1070
CUDA安装
baichuan13b 推理 cuda 报错
09-17
baichuan13b 推理 cuda 报错可能是由于以下几种原因造成的： 1. CUDA环境配置错误：在使用CUDA进行推理时，需要正确配置CUDA环境，包括安装正确版本的CUDA驱动程序和CUDA工具包，并设置环境变量。如果配置有误，可能会导致CUDA报错。 解决方法：检查CUDA环境配置是否正确，包括驱动程序和工具包的版本是否匹配，以及环境变量是否设置正确。 2. 显卡驱动问题：CUDA依赖于显卡驱动程序进行运算，在使用过程中可能会出现与显卡驱动相关的报错。 解决方法：更新显卡驱动程序到最新版本，并确保与CUDA版本兼容。 3. 硬件兼容性问题：某些旧型号的显卡可能不支持最新的CUDA版本或某些特定功能，这也可能导致CUDA报错。 解决方法：检查显卡型号是否与所使用的CUDA版本兼容，如果不兼容，可以尝试更换显卡或降低CUDA版本。 4. 代码逻辑错误：在使用CUDA进行推理时，也可能是代码中存在逻辑错误或者调用API错误导致的CUDA报错。 解决方法：仔细检查代码中与CUDA相关的部分，确保代码逻辑正确，并正确调用CUDA API。 综上所述，要解决baichuan13b推理CUDA报错，需要检查CUDA环境配置、显卡驱动、硬件兼容性以及代码逻辑，找到错误原因并采取相应的解决方法。另外，也可以搜索报错信息，查找具体的解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值