ImportError: Using `bitsandbytes` 8-bit quantization requires Accelerate: `pip install accelerate`

最新推荐文章于 2024-08-06 16:34:36 发布

SheldonLiu0412

最新推荐文章于 2024-08-06 16:34:36 发布

阅读量1k

点赞数 3

文章标签： pip

本文链接：https://blog.csdn.net/find_jay/article/details/137911837

版权

作者在使用MacM1设备和Python3.10.14环境下，虽然成功安装了Accelerate(版本0.29.3)及bitsandbytes(版本0.42.0)，但仍遇到关于8位量化错误的ImportError。文章提示需确保已正确安装并更新bitsandbytes库。

摘要由CSDN通过智能技术生成

ImportError: Using `bitsandbytes` 8-bit quantization requires Accelerate: `pip install accelerate` and the latest version of bitsandbytes: `pip install -i https://pypi.org/simple/ bitsandbytes`

我的一些版本：

mac M1

python3.10.14

Successfully installed accelerate-0.29.3

bitsandbyte 0.42.0

但依然报错

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

SheldonLiu0412

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
5
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

ImportError: Could not import docarray python package解决方案

weixin_43178406的博客

03-06

8万+

本文主要介绍了ImportError: Could not import docarray python package解决方案，希望能对使用langchain的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案

ImportError: cannot import name Template解决方案

weixin_43178406的博客

07-17

6万+

本文主要介绍了ImportError: cannot import name Template解决方案，希望能对学习python的同学们有所帮助。文章目录 1. 问题描述 2. 原因分析 3. 解决方案

5 条评论您还未登录，请先登录后发表或查看评论

ImportError: Using `load_in_8bit=True` requires Accelerate: `pip install accelerate` and the latest

完颜振江

04-03

705

ImportError: Using `load_in_8bit=True` requires Accelerate: `pip install accelerate` and the latest

关于bitsandbytes安装报错

cy853043693的博客

08-23

3911

关于微调大语言模型绕不开安装bitsandbytes，有很多小伙伴会报以上的error参考GitHub上bitsandbytes的issue发现很多人给了一些错误的方向，实际问题就是CUDA环境不干净，参考CSDN回答cuDNNCUDA我尝试了一种新的思路，或许不用删除CUDA程序（因为隐患很大）在重新配置环境之后保存导致我退出了虚拟环境，偶然进入了系统环境，然后离奇的发现安装完bitsandbytes之后可以直接进行python -m bitsandbytes显示安装成功。

Transformers实战05-模型量化

最新发布

liaomin416100569的专栏

08-06

1210

模型量化（Model Quantization）是一种优化技术，旨在减少机器学习模型的计算资源需求和存储空间，同时在精度损失最小化的前提下提高推理效率。量化通过将模型权重和激活函数的数值从高精度（如 32 位浮点数）转换为低精度（如 8 位整数），显著减少了模型大小和计算复杂度。

使用colab下载大模型基模的时候报错处理

完颜振江

03-25

200

解决方案：安装依赖的时候用pip3。

【hugging face】bitsandbytes中8 bit量化的理解

qq_42725437的博客

12-09

823

因此，本质上，我们执行矩阵乘法以节省精度，然后将非异常值结果拉回到 FP16，而非异常值的初始值和按比例缩小后的值之间没有太大差异。8 位量化使数十亿参数规模的模型能够适应更小的硬件，而不会降低性能。3.改变非异常值结果以将值拉回到 FP16，并将它们添加到 FP16 中的异常值结果中。2.对 FP16 中的离群值和 int8 中的非离群值执行矩阵乘法。1.从输入隐藏状态中按列提取较大值（离群值）。

解决AttributeError: module ‘bitsandbytes.nn‘ has no attribute ‘Linear8bitLt‘

gaohongfeng1的博客

12-27

1217

在做量化时，peft包下面tuning目录的lora.py文件中调用了bitsandbytes的nn.Linear8bitLt 对象，但是bitsandbytes-113没有在这个属性。最后我排查了各种原因，比如找不到libcud...so等文件，反复find 文件，然后把路径都补到环境变量里，上面的版本已经不支持了，需要重新装bitsandbytes。最终的原因还是Nvidia driver 版本太低；

如果开启了8bit量化加载,项目无法启动，参考此位置，选择合适的cuda版本

qq_42544924的博客

06-28

3369

说明量化过程，需要 accelerate 与 bitsandbytes 模块。

Pytorch安装失败解决办法(pip install torch提示安装失败;import torch 提示 from torch._C import * ImportError: DLL l)

蔡致润的博客

02-25

5万+

问题1：使用Python的pip 安装命令: pip install torch 会提示安装失败问题2：import torch 提示 from torch._C import * ImportError: DLL load failed:找不到指定模块安装环境： Windows Server 2012 R2 Python 3.7 PyTorch 1.0.0 安装步骤：...

ImportError: Using `low_cpu_mem_usage=True` or a `device_map` requires Accelerate: `pip install accelerate` 、

07-22

这个错误表示你在使用 `low_cpu_mem_usage=True` 或 `device_map` 参数时缺少 Accelerate 库...pip install accelerate ``` 请确保在正确的环境中运行此命令，如果问题仍然存在，请尝试更新或重新安装 Accelerate 库。

ImportError: LlamaConverter requires the protobuf library but it was not found in environment.解决方案

热门推荐

weixin_43178406的博客

01-31

6万+

本文主要介绍了ImportError: LlamaConverter requires the protobuf library but it was not found in your environment.解决方案，希望能对使用大模型的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案

大模型训练时，使用bitsandbytes报错的解决方法

anycall201的博客

04-03

2万+

使用bitsandbytes加载模型出现"The installed version of bitsandbytes was compiled without GPU support."警告的解决办法

关于windows上运行bitsandbytes老是报错的（说cuda版本有问题）解决方案

dalaomanzou的博客

09-21

6669

最后在网上找到高人的回复，原来一开始就想错方向了，根本就是这个bitsandbytes的版本不对，整死个人。甚至自己在那里加些莫名其妙的环境变量（后来才知道那玩儿是linux上才用的环境变量），醉了。甚至以为是环境变量有问题，没有对应的环境变量，导致程序找不到对应的cuda环境。所以多方尝试，卸载了又装，多个cuda版本都卸载和安装了多次，以排查问题。本来我就奇怪，我都进的是虚拟环境了，怎么还是cuda环境有问题。我以为是自己电脑上装了多个版本的cuda，导致冲突。报错问题基本上都是什么。

pip install依赖报错：ImportError: 'module' object has no attribute 'main'

weixin_43578216的博客

01-02

1679

pip install依赖报错：ImportError: 'module' object has no attribute 'main' 在本地起python编程的应用时，需要先安装依赖（如没有安装pip，安装依赖前要先安装pip），我这里用的是git安装依赖，结果报错ImportError: ‘module’ object has no attribute ‘main’，报错信息如下： $ pi...

LLM：Transformers 库

皮皮blog

06-02

5325

Transformers 库是一个开源库，其提供的所有预训练模型都是基于 transformer 模型结构的。Transformers 库支持三个最流行的深度学习库（PyTorch、TensorFlow 和 JAX）。我们可以使用 Transformers 库提供的 API 轻松下载和训练最先进的预训练模型。使用预训练模型可以降低计算成本，以及节省从头开始训练模型的时间。这些模型可用于不同模态的任务，例如：文本：文本分类、信息抽取、问答系统、文本摘要、机器翻译和文本生成。图像：图像分类、目标检测和图像分割。

学习笔记 -- -- python库安装方法

juxiandesiyu的博客

02-02

297

学习笔记 – – python库安装方法安装部分打开cmd 输入 pip install --upgrade pip 再输入pip install --upgrade setuptools 若以上有报错，则根据报错提示走，增加相应的关键字，基本上会成功。安装时输入：pip install -i 国内镜像网站（下面以列出） XXX（相应的库名称）网站名网址清华 https://pypi.tuna.tsinghua.edu.cn/simple 阿里云 htt

LLM实践-在Colab上使用免费T4 GPU进行Chinese-Llama-2-7b-4bit推理

SHIDACSDN的博客

10-06

1718

一、配置环境 1、打开colab，创建一个空白notebook，在[修改运行时环境]中选择15GB显存的T4 GPU. 2、pip安装依赖python包 !pip install --upgrade accelerate !pip install bitsandbytes transformers_stream_generator !pip install transformers !pip ...