微调大模型,pip install bitsandbytes之后出错:
RuntimeError: CUDA Setup failed despite GPU being available.
然后根据网上的方法,先删掉:
pip uninstall bitsandbytes
之后装和自己cudatoolkit一样版本的bitsandbytes:
pip install bitsandbytes-cuda113
不报上面的错了,报新的错:
AttributeError: module ‘bitsandbytes.nn’ has no attribute ‘Linear8bitLt’
于是我又将bitsandbytes删了重装了一次就好了(装的时候不加113)-
pip uninstall bitsandbytes-cuda113
pip install bitsandbytes
这个方法是我从google上看的,咱也不懂为啥,反正就不报错了
解决AttributeError: module ‘bitsandbytes.nn‘ has no attribute ‘Linear8bitLt‘
于 2023-07-14 16:47:24 首次发布
在尝试微调大模型时遇到CUDA错误,用户首先卸载并重新安装了bitsandbytes,但出现了Linear8bitLt属性缺失的错误。通过进一步的搜索和尝试,用户发现不指定CUDA版本安装bitsandbytes解决了问题。问题的解决过程包括删除、安装特定CUDA版本的bitsandbytes,最后卸载并重新安装无特定CUDA版本的bitsandbytes。
摘要由CSDN通过智能技术生成