Windows中bitsandbytes关于CUDA报错的解决方案

最新推荐文章于 2024-05-25 09:47:12 发布

Joe_cccc

最新推荐文章于 2024-05-25 09:47:12 发布

阅读量597

点赞数

文章标签： windows python langchain

本文链接：https://blog.csdn.net/m0_46411133/article/details/135220388

版权

前言

跑Llama2-Chinese官方demo，需要安装这个bitsandbytes库，但是一直报错:

Inspect the output of the command and see if you can locate CUDA libraries. You might need to add them
        to your LD_LIBRARY_PATH. If you suspect a bug, please take the information from python -m bitsandbytes

以为是多个cuda版本出错结果是库的问题，后再github上找到兼容windows的whl，可访问:
链接: bitsandbytes-windows-webui
或者直接使用

python -m pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.40.1.post1-py3-none-win_amd64.whl

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Joe_cccc

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Windows中bitsandbytes关于CUDA报错的解决方案

Windows中bitsandbytes关于CUDA报错的解决方案
复制链接

扫一扫

CUDA Setup failed despite GPU being available.

qq_42681787的博客

08-07

3745

CUDA Setup failed despite GPU being available. Please run the following command to get more information: python -m bitsandbytes Inspect the output of the command and see if you can locate CUDA libraries. You might need to add them to your LD_LIBRARY_PATH.

onnxruntime windows下cuda驱动文件

09-24

ONNX Runtime 是一个高性能的推理引擎，用于执行预先训练好的机器学习模型，它支持多种硬件平台，包括配备 NVIDIA CUDA 的 Windows 系统。CUDA（Compute Unified Device Architecture）是 NVIDIA 提供的一种并行计算...

参与评论您还未登录，请先登录后发表或查看评论

WIN下使用 bitsandbytes 出现 CUDA Setup failed despite GPU being available.错误

2303_79001442的博客

08-07

3912

今天玩一个开源项目时出现需要安装bitsandbytes 包，但是安装好后出现下面的报错。找了很多帖子，试了一些方法。

gitblog_00061的博客

05-25

398

windows下bitsandbytes安装报错解决

baidu_32683111的博客

12-04

1306

最后找了半天，github：https://github.com/jllllll/bitsandbytes-windows-webui/releases有个。bitsandbytes安装，windows环境每次都遇到这种报错，记录下。有报错，但不影响，继续跑Chinese-LLaMA-Alpaca是正常的。，然而并卯什么卵用，

训练自己业务的行业垂类大模型-生成式模型：从0到1复现ChatGLM的p-tuning和lora 微调

samoyan的博客,记录技术成长~

06-15

2378

ChatGLM-6B：我是一台人工智能助手，可以回答各种各样的问题，例如学术、语言、文化等方面的问题，提供有关历史、地理、科学、技术、社会和文化等各个领域的信息和知识，帮助用户解决问题和获取信息。我的功能是基于预先训练的大规模语言模型，通过对输入文本的响应来回答问题或完成任务。如果输出的是 Anaconda 中安装的 Python 的路径（例如：/home/user/anaconda/bin/python），则说明 Anaconda 环境已经成功激活了。ChatGLM-6B：你好👋！

[踩坑记] CUDA环境下bitsandbytes安装报错/异常解决

最新发布

05-26

标题 "COLMAP-3.7-windows-cuda11.6.zip" 暗示这是一个针对Windows操作系统的软件包，主要用于计算机视觉领域的三维重建工具——COLMAP。COLMAP是一款开源的多视图立体匹配和三维重建软件，广泛应用于摄影测量、...

Windows下载安装CUDA 10.2

01-07

Windows安装CUDA 10.2 你要有一张NVIDIA显卡。进入官网下载，选择自己对应的环境后，选择local版本，然后Download，大小有2.6GB。下载完直接双击运行安装。如果电脑上没有下载Visual Studio，中间会有一个提示，...

linux Ubuntu Python 3.10 环境报错与解决方案集合

Jay_fearless的博客

05-11

2979

使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调环境配置

【Linux】cuda安装ERROR: Unable to find the development tool `make` in your path； please...

weixin_44322778的博客

03-19

2125

解决方案 安装make sudo apt-get install make

服务器 conda时错误提示 The following specifications were found to be conflict：tensorflow

IT人生

05-17

2万+

查了很多都说要创建一个对应的新的conda安装环境我这里只是conda update conda 之后就没有问题了

CUDA安装+pytorch安装

sunmenmian的博客

09-01

1036

CUDA安装

anaconda虚拟环境下布置Pytorch、CUDA记录

weixin_57234928的博客

03-17

3692

ld not remove or rename C:\Users\Chen\anaconda3\pkgs\pytorch-1.7.1-py3.7_cuda110_cudnn8_0\Lib\site-packages\caffe2\python\caffe2_pybind11_state.cp37-win_amd64.pyd. Please remove this file manually (you may need to reboot to free file handles)

关于windows上运行bitsandbytes老是报错的（说cuda版本有问题）解决方案

dalaomanzou的博客

09-21

6081

最后在网上找到高人的回复，原来一开始就想错方向了，根本就是这个bitsandbytes的版本不对，整死个人。甚至自己在那里加些莫名其妙的环境变量（后来才知道那玩儿是linux上才用的环境变量），醉了。甚至以为是环境变量有问题，没有对应的环境变量，导致程序找不到对应的cuda环境。所以多方尝试，卸载了又装，多个cuda版本都卸载和安装了多次，以排查问题。本来我就奇怪，我都进的是虚拟环境了，怎么还是cuda环境有问题。我以为是自己电脑上装了多个版本的cuda，导致冲突。报错问题基本上都是什么。

【个人笔记】windows10 安装bitsandbytes，auto-gptq

weixin_50205217的博客

07-13

1203

aoto-gptq目前好像只支持cuda11.7和11.8。我的cuda11.6重装了(虽然并没有很麻烦)python -m bitsandbytes验证。最佳方案就是使用text—webui把环境下好。安装 bitsandbytes。auto-gptq库下载。

baichuan13b 推理 cuda 报错

09-17

baichuan13b 推理 cuda 报错可能是由于以下几种原因造成的： 1. CUDA环境配置错误：在使用CUDA进行推理时，需要正确配置CUDA环境，包括安装正确版本的CUDA驱动程序和CUDA工具包，并设置环境变量。如果配置有误，可能会导致CUDA报错。解决方法：检查CUDA环境配置是否正确，包括驱动程序和工具包的版本是否匹配，以及环境变量是否设置正确。 2. 显卡驱动问题：CUDA依赖于显卡驱动程序进行运算，在使用过程中可能会出现与显卡驱动相关的报错。解决方法：更新显卡驱动程序到最新版本，并确保与CUDA版本兼容。 3. 硬件兼容性问题：某些旧型号的显卡可能不支持最新的CUDA版本或某些特定功能，这也可能导致CUDA报错。解决方法：检查显卡型号是否与所使用的CUDA版本兼容，如果不兼容，可以尝试更换显卡或降低CUDA版本。 4. 代码逻辑错误：在使用CUDA进行推理时，也可能是代码中存在逻辑错误或者调用API错误导致的CUDA报错。解决方法：仔细检查代码中与CUDA相关的部分，确保代码逻辑正确，并正确调用CUDA API。综上所述，要解决baichuan13b推理CUDA报错，需要检查CUDA环境配置、显卡驱动、硬件兼容性以及代码逻辑，找到错误原因并采取相应的解决方法。另外，也可以搜索报错信息，查找具体的解决方案。