Qwen-14B-Chat-Int4推理报错:ImportError: libcudart.so.12: cannot open shared object file

城南皮卡丘

已于 2023-11-09 11:53:40 修改

阅读量1.8k

点赞数

分类专栏： # Pytorch深度学习理论与实战文章标签： python 开发语言

于 2023-11-09 11:53:06 首次发布

本文链接：https://blog.csdn.net/qq_42681787/article/details/134308230

版权

Pytorch深度学习理论与实战专栏收录该内容

33 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

在运行Qwen-14B-Chat-Int4推理时遇到错误，提示缺少optimum和auto-gptq库。尝试按照提示安装后，出现ImportError: libcudart.so.12: cannot open shared object file。问题根源是auto-gptq版本与已安装CUDA版本不兼容。解决方案是找到与现有conda环境和CUDA版本匹配的AutoGPTQ版本进行安装，成功解决问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在 Qwen-14B-Chat-Int4推理时，发现报错，缺少 optimum 和 auto-gptq 两个pip包

Traceback (most recent call last):
File "test_qwen_14b_int4.py", line 6, in <module>
model = AutoModelForCausalLM.from_pretrained(
File "/home/linewell/anaconda3/envs/codeS/lib/python3.8/site-packages/transformers/models/auto/auto_factory.py", line 558, in from_pretrained
return model_class.from_pretrained(
File "/home/linewell/anaconda3/envs/codeS/lib/python3.8/site-packages/transformers/modeling_utils.py", line 2584, in from_pretrained
raise ImportError(
ImportError: Loading GPTQ quantized model requires optimum library : `pip install optimum` and auto-gptq library 'pip install auto-gpt