解决AttributeError: module ‘bitsandbytes.nn‘ has no attribute ‘Linear8bitLt‘

在尝试微调大模型时遇到CUDA错误,用户首先卸载并重新安装了bitsandbytes,但出现了Linear8bitLt属性缺失的错误。通过进一步的搜索和尝试,用户发现不指定CUDA版本安装bitsandbytes解决了问题。问题的解决过程包括删除、安装特定CUDA版本的bitsandbytes,最后卸载并重新安装无特定CUDA版本的bitsandbytes。
摘要由CSDN通过智能技术生成

微调大模型,pip install bitsandbytes之后出错:
RuntimeError: CUDA Setup failed despite GPU being available.
然后根据网上的方法,先删掉:
pip uninstall bitsandbytes
之后装和自己cudatoolkit一样版本的bitsandbytes:
pip install bitsandbytes-cuda113
不报上面的错了,报新的错:
AttributeError: module ‘bitsandbytes.nn’ has no attribute ‘Linear8bitLt’
于是我又将bitsandbytes删了重装了一次就好了(装的时候不加113)-
pip uninstall bitsandbytes-cuda113
pip install bitsandbytes
这个方法是我从google上看的,咱也不懂为啥,反正就不报错了

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值