报错libcudart.so.12: cannot open shared object file: No such file or directory

最新推荐文章于 2025-02-27 19:45:12 发布

愚昧之山绝望之谷开悟之坡

最新推荐文章于 2025-02-27 19:45:12 发布

阅读量7.5k

点赞数 4

分类专栏：大模型各种报错文章标签：人工智能

本文链接：https://blog.csdn.net/qq_15821487/article/details/136874265

版权

各种报错同时被 2 个专栏收录

106 篇文章

订阅专栏

大模型

43 篇文章

订阅专栏

文章讲述了在使用vLLM库时遇到的ImportError，由于vLLMv0.2.2依赖于PyTorch2.1和CUDA12.1，如果没有安装正确的CUDA版本，会导致错误。提供了解决方案是按照指南安装PyTorch2.1和CUDA12.1。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

报错

 File "/opt/conda/lib/python3.10/site-packages/vllm/model_executor/layers/quantization/awq.py", line 6, in <module>
    from vllm._C import ops
ImportError: libcudart.so.12: cannot open shared object file: No such file or directory

参考：
https://hub.yzuu.cf/vllm-project/vllm/issues/1716
https://hub.yzuu.cf/vllm-project/vllm/issues/1718

解决方案

Hi @phatjkk, please install vLLM + CUDA 11.8 following the instructions here.
vLLM v0.2.2 depends on PyTorch 2.1 and CUDA 12.1. This might cause error if you environment does not have CUDA 12.1.

FROM pytorch/pytorch:2.1.2-cuda12.1-cudnn8-devel

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

愚昧之山绝望之谷开悟之坡

关注关注

4
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Qwen-14B-Chat-Int4推理报错:ImportError: libcudart.so.12: cannot open shared object file

qq_42681787的博客

11-09

1688

按照提示，pip安装这两个包，结果报错： ImportError: libcudart.so.12: cannot open shared object file: No such file or directory。发现是由于安装的 auto-gptq版本与conda安装的CUDA版本冲突所导致。在 Qwen-14B-Chat-Int4推理时，发现报错，缺少 optimum 和 auto-gptq 两个pip包。安装了跟我conda环境与cuda版本相匹配的 AutoGPTQ，问题解决。

ImportError: libcudart.so.10.2: cannot open shared object file: No such file or directory解决方案

weixin_43178406的博客

06-05

9万+

本文主要介绍了ImportError: libcudart.so.10.2: cannot open shared object file: No such file or directory解决方案，希望能对学习paddlepaddle的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案

1 条评论您还未登录，请先登录后发表或查看评论

MMCV\MM系列报错:ImportError: libcudart.so.12: cannot open shared object file: No such file or directory

python_innocent的博客

11-20

2388

python版本太低了，通常是torch的版本太高，比如2.0，只能支持CUDA11.7，但此时3.8的python版本就会报这个错。这个时候只能重新建一个环境3.9的python环境了。

ImportError: libcudart.so.12: cannot open shared object file: No such file or direct

最新发布

qq_31239371的博客

02-27

1196

解决办法：重载一下cuda动态链接库为系统所共享即可正常运行。第一天训练好好的，第二天就报这个错，吐了。是存在的，但就是报错找不到。PS：如果你压根就没有。

【踩坑日记2】OSError: libcudart.so.12: cannot open shared object file: No such file or directory

longii11的博客

02-27

2300

是包之间版本的相互依赖，其他版本包阻止DeepSpeed的安装，尝试先安装DeepSpeed，再安装其他包。

编译自定义算子出现的问题（GCFSR）-- libcudart.so.12: No such file

在人工智能的道路上爬行

07-20

3074

本文中是在torch调用中报错，在torch官网中发现，在本博客创建时间时，pytorch支持的最高版本的cuda是11.8,对cuda-12是不支持的。2、在进行与cuda相关的编译时，调用了cuda的版本，生成了对应的.so 文件。1、调用的package 与 cuda 版本不匹配。2、删除原来的编译结果，重新进行编译。1、重新安装cuda。

"libcudart.so.8.0 cannot open shared object file: No such file or directory"

liuyifang0810680的专栏

11-02

2万+

"libcudart.so.8.0 cannot open shared object file: No such file or directory" 解决办法是将一些文件复制到/usr/local/lib文件夹下： #注意自己CUDA的版本号！ sudo cp /usr/local/cuda-8.0/lib64/libcudart.so.8.0 /usr/local/lib/libcud

ImportError: libcudart.so.12: cannot open shared object file: No such file or directory

qq_41816368的博客

10-07

521

【代码】ImportError: libcudart.so.12: cannot open shared object file: No such file or directory。

cuda报错 OSError: libcudart.so.10.0: cannot open shared object file: No such file

01-09

有时候会碰到cuda报错，OSError: libcudart.so.10.0: cannot open shared object file: No such file 原因是cuda动态链接库没有链接上。解决方法如下： cuda10.0： sudo ldconfig /usr/local/cuda-10.0/lib64 cuda...

ImportError: libcupti.so.11.7: cannot open shared object file: No such file or directory解决方案

weixin_43178406的博客

07-24

6万+

本文主要介绍了ImportError: libcupti.so.11.7: cannot open shared object file: No such file or directory解决方案，希望能对使用torch的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案

ImportError: libGL.so.1: cannot open shared object file: No such file or directory解决方案

weixin_43178406的博客

01-13

2万+

本文主要介绍了ImportError: libGL.so.1: cannot open shared object file: No such file or directory解决方案，希望能对使用Linux的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案

error... : lib*.so.*: cannot open shared object file: No such file or directory

很简单_的博客

06-19

2479

报错：error while loading shared libraries: libo*.so.12: cannot open shared object file: No such file or directory 出现这个报错，一般是在安装软件，./configure 的时候，系统找不到这个库报的错 1、找到安装软件的 lib 库一般是在软件的解压目录里，会有一个 lib 目录，pwd 记下当前路径，比如我的是 /usr/local/kingbase/KingbaseSE/bin 2、找到系

【原创解决方案】ImportError: libcupti.so.12: cannot open shared object file: No such file or directory

weixin_44212848的博客

04-22

6411

背景：在下载 svgrender 库（https://pytorch-svgrender.readthedocs.io/en/latest/install.html）的最后一步时，遇到以下报错。

Linux动态库常见问题之-“cannot open shared object file No such file or directory“的解决办法

热门推荐

飞翔de刺猬

02-25

11万+

Linux编写程序时，会经常的接触动态库，而在程序运行时可能会遇到类似于:libxxx.so cannot open shared object file No such file or directory的问题，这个代表什么含义，该怎么解决呢？含义这个问题代表的含义是，可执行程序在加载libxxx.so库时，找不到该库。至于找不到的情况分为两种:系统里根本不存在libxxx.so库；libx...

cannot open shared object file: No such file or directory

weixin_34235371的博客

12-27

823

一般我们在Linux下执行某些外部程序的时候可能会提示找不到共享库的错误, 比如:error while loading shared libraries: libxxx.so: cannot open shared object file: No such file or directory 原因一般有两个, 一个是操作系统里确实没有包含该共享库(lib*.so.*文件)或者共享库版本不对, ...

解决ImportError:lib***.so--cannot open shared object file: No such file or directory

hhhuua的博客

06-15

4万+

1-软链接方式 1.1 找到文件 find / -name lib**.so (缺失的动态链接库) 1.2 建立软链接 ln -s /path/to/lib**.so /usr/lib 1.3sudo ldconfig (后两种没有试过) 2-修改LD_LIBRARY_PATH exp...

已解决：动态库加载失败：cannot open shared object file: No such file or directory

sally的jerry

02-02

4万+

1. 问题描述使用动态库编译链接main.c后，得到名为main的可执行程序。但是在运行main可执行程序时，程序报错： ./main: error while loading shared libraries: libcalc.so: cannot open shared object file: No such file or directory 如下图所示： 2. 问题出现的原因可执行程序在加载libxxx.so库时，找不到该库。至于找不到的情况分为两种:系统里根本不存在libxxx.so库；l

mamba报错ImportError: libcudart.so.12: cannot open shared object file: No such file or directory

01-20

### 解决 mamba 环境中导入 `libcudart.so.12` 出现的 ImportError 问题当遇到 `ImportError: libcudart.so.12: cannot open shared object file: No such file or directory` 错误时，这通常意味着 CUDA 库未正确安装或路径配置不正确。以下是详细的解决方案： #### 方法一：验证并重新安装 CUDA 工具包如果怀疑 CUDA 安装存在问题，则可以尝试卸载现有版本并重新安装最新稳定版。 ```bash conda remove cudatoolkit conda install cudatoolkit=12.0 -c nvidia ``` 上述命令会移除当前环境中的 CUDA 工具包，并安装指定版本的新工具包[^1]。 #### 方法二：设置 LD_LIBRARY_PATH 变量有时即使库存在也可能会因为动态链接器找不到它而报错。可以通过临时修改 `LD_LIBRARY_PATH` 来指向正确的目录来解决问题。 ```bash export LD_LIBRARY_PATH=$CONDA_PREFIX/lib:$LD_LIBRARY_PATH ``` 这条指令将 Conda 环境下的 `/lib` 文件夹加入到共享库查找路径中[^2]。 #### 方法三：创建符号链接对于某些情况，可能是因为缺少特定版本号的 `.so` 文件造成的。可以在相应位置创建一个符号链接指向实际存在的文件。假设在 `$CONDA_PREFIX/lib/` 下有名为 `libcudart.so` 的文件但没有带版本号的部分，那么可以执行如下操作： ```bash cd $CONDA_PREFIX/lib/ sudo ln -s libcudart.so libcudart.so.12 ``` 这样就建立了从 `libcudart.so.12` 到已有的 `libcudart.so` 的软连接[^3]。 #### 方法四：更新 conda 和 mamba 确保使用的软件包管理器是最新的也很重要，旧版本可能存在兼容性问题或其他 bug。 ```bash conda update conda mamba update mamba ``` 通过保持这些工具处于最新状态可以帮助避免许多潜在的问题[^4]。