报错libcudart.so.12: cannot open shared object file: No such file or directory

最新推荐文章于 2024-07-15 11:32:59 发布
最新推荐文章于 2024-07-15 11:32:59 发布
阅读量3k 收藏 1
点赞数 4
分类专栏： 大模型 各种报错 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_15821487/article/details/136874265
版权
文章讲述了在使用vLLM库时遇到的ImportError，由于vLLMv0.2.2依赖于PyTorch2.1和CUDA12.1，如果没有安装正确的CUDA版本，会导致错误。提供了解决方案是按照指南安装PyTorch2.1和CUDA12.1。
摘要由CSDN通过智能技术生成

报错

 File "/opt/conda/lib/python3.10/site-packages/vllm/model_executor/layers/quantization/awq.py", line 6, in <module>
    from vllm._C import ops
ImportError: libcudart.so.12: cannot open shared object file: No such file or directory

参考：
https://hub.yzuu.cf/vllm-project/vllm/issues/1716
https://hub.yzuu.cf/vllm-project/vllm/issues/1718

解决方案

Hi @phatjkk, please install vLLM + CUDA 11.8 following the instructions here.
vLLM v0.2.2 depends on PyTorch 2.1 and CUDA 12.1. This might cause error if you environment does not have CUDA 12.1.

FROM pytorch/pytorch:2.1.2-cuda12.1-cudnn8-devel
愚昧之山绝望之谷开悟之坡
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Qwen-14B-Chat-Int4推理报错:ImportError: libcudart.so.12: cannot open shared object file
qq_42681787的博客
11-09 1178
按照提示，pip安装这两个包，结果报错： ImportError: libcudart.so.12: cannot open shared object file: No such file or directory。发现是由于安装的 auto-gptq版本与conda安装的CUDA版本冲突所导致。在 Qwen-14B-Chat-Int4推理时，发现报错，缺少 optimum 和 auto-gptq 两个pip包。安装了跟我conda环境与cuda版本相匹配的 AutoGPTQ，问题解决。
【踩坑日记2】OSError: libcudart.so.12: cannot open shared object file: No such file or directory
weixin_47894469的博客
02-27 1666
是包之间版本的相互依赖，其他版本包阻止DeepSpeed的安装，尝试先安装DeepSpeed，再安装其他包。
报错处理 - OSError: libcusparse.so.12: cannot open shared object file
最新发布
编码时光
07-15 480
问题描述 处理 后记
error... : lib*.so.*: cannot open shared object file: No such file or directory
很简单_的博客
06-19 2219
报错：error while loading shared libraries: libo*.so.12: cannot open shared object file: No such file or directory 出现这个报错，一般是在安装软件，./configure 的时候，系统找不到这个库报的错 1、找到安装软件的 lib 库 一般是在软件的解压目录里，会有一个 lib 目录，pwd 记下当前路径，比如我的是 /usr/local/kingbase/KingbaseSE/bin 2、找到系
MMCV\MM系列 报错:ImportError: libcudart.so.12: cannot open shared object file: No such file or directory
python_innocent的博客
11-20 1612
python版本太低了，通常是torch的版本太高，比如2.0，只能支持CUDA11.7，但此时3.8的python版本就会报这个错。这个时候只能重新建一个环境3.9的python环境了。
编译自定义算子出现的问题（GCFSR）-- libcudart.so.12: No such file
在人工智能的道路上爬行
07-20 2574
本文中是在torch调用中报错，在torch官网中发现，在本博客创建时间时，pytorch支持的最高版本的cuda是11.8,对cuda-12是不支持的。2、在进行与cuda相关的编译时，调用了cuda的版本，生成了对应的.so 文件。1、调用的package 与 cuda 版本不匹配。2、删除原来的编译结果，重新进行编译。1、重新安装cuda。
ImportError: libcudart.so.10.2: cannot open shared object file: No such file or directory
不积跬步，无以至千里！
04-03 1万+
环境配置
报错解决：libcudart.so.10.2: cannot open shared object file: No such file or directory
zoey_peak的博客
03-14 1万+
报错解决：libcudart.so.10.2: cannot open shared object file: No such file or directory
Linux动态库常见问题之-“cannot open shared object file No such file or directory“的解决办法
热门推荐
飞翔de刺猬
02-25 10万+
Linux编写程序时，会经常的接触动态库，而在程序运行时可能会遇到类似于:libxxx.so cannot open shared object file No such file or directory的问题，这个代表什么含义，该怎么解决呢？ 含义 这个问题代表的含义是，可执行程序在加载libxxx.so库时，找不到该库。至于找不到的情况分为两种:系统里根本不存在libxxx.so库；libx...
cannot open shared object file: No such file or directory 加载库失败的原因及解决
holidayi的博客
12-04 2万+
假如是我们自己写的动态库，其实还有一种情况也会导致报“cannot open shared object file”， 那就是库本身有问题，这种问题一般是库的某个“symbol” 即符号没找到
【CUDA】libcudart.so.10.0: cannot open shared object file: No such file or directory
Vincent Lai的博客
01-11 8841
结论 检查~/.bashrc文件中环境变量有没有写错，正确的写法应为： export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH export PATH=$PATH:/usr/local/cuda/bin:$PATH 过程 在新环境安装tensorflow之后突然报错libcudart.so.10.0: cannot open s...
libcudnn.so.6:cannot open sharedobjectfile: No such file or directory
dafenqie的博客
09-25 9285
系统环境：Ubuntu14.04 + GTX1080  目的：配置一下python-tensorflow环境 问题复现：  使用设置/软件与更新/附件驱动安装nvidia-375  使用CUDA-8.0*.run安装CUDA  使用cudnn*.tgz安装cudnn5.1  PATH里面加入了/usr/local/cuda-8.0/bin  LD_LIBRARY_PATH里面加入了/
ubuntu报错：libg2c.so.0:cannot open shared object file: no such file or directory/wrong ELF class（已解决）-附件资源
03-02
ubuntu报错：libg2c.so.0:cannot open shared object file: no such file or directory/wrong ELF class（已解决）-附件资源
解决启动MongoDB错误：error while loading shared libraries: libstdc++.so.6:cannot open shared object file:
09-09
在使用MongoDB数据库服务时，有时可能会遇到启动过程中的错误，如"error while loading shared libraries: libstdc++.so.6: cannot open shared object file"。这个错误表明系统缺少一个名为`libstdc++.so.6`的关键...
libcusparse.so.11
03-31
OSError: libcusparse.so.11: cannot open shared object file: No such file or directory 搜索全网，也没找到解决方案。最快解决方案如下： 1、在 /home/user/anaconda3/lib/ 中放入缺少的 libcusparse.so.11 文件...
导入tensorflow:ImportError: libcublas.so.9.0 报错
01-20
错误：ImportError: libcublas.so.9.0: cannot open shared object file: No such file or directory 问题：找不到cuda9.0的版本。 出现该错误的主要原因：cuda未安装或者cuda的版本有问题 这个错误在安装...
ImportError: libcudart.so.10.2: cannot open shared object file: No such file or directory解决方案
weixin_43178406的博客
06-05 9万+
本文主要介绍了ImportError: libcudart.so.10.2: cannot open shared object file: No such file or directory解决方案，希望能对学习paddlepaddle的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
解决:ImportError: libcudart.so.10.2: cannot open shared object file: No such file or directory.
duanboboke的博客
11-13 7873
解决 OSError: libcudart.so.10.2: cannot open shared object file: No such file or directory
libcudart.so.10.2: cannot open shared object file: No such file or directory
qq_48326857的博客
03-13 9744
动态链接库导入出错 出错原因： 1.没有添加路径。此类问题直接百度搜索ubuntu怎么添加动态链接库路径即可。 2.安装依赖包时对应版本错误。这是常见问题。比如安装了cu102-torch1.6.0，但发现ubuntu显卡驱动不支持cuda10.2，重装成cuda10.1，那么此时运行就会出现这个错误。注意改变某些依赖包后，对应的环境里的包版本要匹配。本人是mmcv出错了，变换cuda版本后，mmcv-full也要重装，而我之前没有意识到mmcv也和cuda的版本是对应安装的。 ...
ImportError: libcudart.so.12: cannot open shared object file: No such file or directory
03-13
ImportError: libcudart.so.12: cannot open shared object file: No such file or directory 是一个常见的错误，通常在使用CUDA相关的程序时出现。这个错误表示系统找不到名为"libcudart.so.12"的共享库文件。 这个错误通常是由于以下几种情况引起的： 1. CUDA未正确安装：如果你使用的是CUDA相关的程序，需要确保CUDA已经正确安装并配置好了环境变量。你可以通过检查CUDA的安装路径和环境变量来确认是否正确安装。 2. CUDA版本不匹配：如果你的程序依赖于特定版本的CUDA，而你的系统中安装的CUDA版本与程序要求的版本不匹配，就会出现这个错误。请确保你的CUDA版本与程序要求的版本一致。 3. 缺少依赖库文件：有时候，这个错误可能是由于缺少其他依赖库文件引起的。你可以尝试通过安装缺少的库文件来解决这个问题。 如果你遇到了这个错误，可以尝试以下解决方法： 1. 确认CUDA是否正确安装，并检查环境变量是否配置正确。 2. 检查程序所需的CUDA版本，并确保与系统中安装的版本一致。 3. 检查是否缺少其他依赖库文件，并尝试安装缺少的库文件。 希望以上信息对你有帮助！如果你还有其他问题，请继续提问。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值