【vLLM】ModuleNotFoundError: No module named ‘vllm.model_executor.layers‘

最新推荐文章于 2025-05-07 09:04:27 发布

Jensen不敲代码

最新推荐文章于 2025-05-07 09:04:27 发布

阅读量3.9k

点赞数 12

分类专栏： LLM 文章标签： python 自然语言处理语言模型

本文链接：https://blog.csdn.net/baidu_32500247/article/details/140009154

版权

LLM 专栏收录该内容

1 篇文章

订阅专栏

问题场景

pip from source 后 start from bash 某模型时遇到该问题，分析为路径为正确解析所致，报错如下：

在这里插入图片描述

解决方案

首先查看vllm是否安装成功，路径如 anaconda->envs->lib->python3.x->site-pachakges->vllm

发现vllm实际上已经安装了，由此推测导包时路径出现问题

在这里插入图片描述

将目录切换至 vllm source code 下面，再通过bash启动模型，问题解决

执行命令

cd /data/apps/vllm_source_code/vllm

然后 bash 启动 vLLM 推理服务即可。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Jensen不敲代码

关注关注

12
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

windows下玩转vllm：vllm简介；Windows下不能直接装vllm；会报错ModuleNotFoundError: No module named ‘vllm._C‘

xiezhipu的博客

02-05

5422

之前做大模型的本地部署，一直都用的ollama。ollama给我的感觉就是，特别方便，几步就可以把大模型部署好。但我看别人都用的vllm，感觉逼格更高一些。所以也就尝试一下。vLLM（Virtual Large Language Model）是一个由加州大学伯克利分校的LMSYS组织开发的开源大语言模型高速推理框架。它旨在提升实时场景下语言模型服务的吞吐量和内存使用效率，特别适合于需要高效处理大量并发请求的应用场景。

深度学习平台demo(基础知识）- Keras相关知识点整理(tensorflow2.4)

jiugeshao的专栏

03-18

2561

具体的一些知识点还是从官方文档获取, 博主只列举几个常用的（曾经项目中用的一些功能）。应用 Applications - Keras 中文文档https://keras.io/zh/applications/Overfit and underfit | TensorFlow Corehttps://tensorflow.google.cn/tutorials/keras/overfit_and_underfit?hl=zh-cn 1.plot_model函数可以可视化出所设计出的模型结构 2....

参与评论您还未登录，请先登录后发表或查看评论

快速解决报错ModuleNotFoundError: No module named ‘resource_rc‘

m0_56026493的博客

03-20

1815

PYQT在转换的时候需要用到ui文件和qrc文件，需要将.ui格式文件和.qrc格式文件转换为.py格式代码文件，ui格式文件由QT designer生成的界面设计文件生成。Arguments：输入-m PyQt5.uic.pyuic $FileName$ -o$FileNameWithoutExtension$.py -x。（如果产生报错，应该是自己的图片没添加，将图片添加项目成功后就能正常的运行）Name: uiTool(任意)文件——设置——外部工具。外部工具——添加外部工具。

关于RTX50系列显卡（5080/5090/5090D）CUDA12.8版本部署vllm服务相关步骤整理

liutian_ye的博客

04-08

3739

本文旨在记录RTX50系列显卡在cuda是12.8版本下成功部署vllm服务相关步骤和踩坑点。

Failed to import from vllm._C with ImportError问题解决

zwhszdx的博客

08-12

5252

Failed to import from vllm._C with ImportError('/ssdwork/.local/lib/python3.10/site-packages/vllm/_C.abi3.so: undefined symbol: _ZN5torch3jit11parseSchemaERKSs')问题解决

ModuleNotFoundError: No module named ‘vllm._C“

kazoos的博客

12-15

7263

modulenotfounderror: No module named 'vllm._C"

ModuleNotFoundError: No module named ‘vllm.lora.peft_helper‘原因和解决方式

CJK's Blog

04-20

299

再运行就可使用了，在我的运行场景中是不会报错的，不知道其它场景是否可以这么操作（我只用了普通有监督Lora微调、flash-attn和unsloth加速、Qlora微调、RLHF，以及导出）的原因顾名思义是unsloth_zoo引用的vllm不存在相关模块，这一般都是因为版本不匹配，在。看到llamafactory作者给出的解决方案也是升级vllm版本。，却没有匹配的vllm版本，

【Python】已解决：ModuleNotFoundError: No module named…

屿小夏.的知识博客

07-10

8792

在使用Python进行开发时，有时会遇到“ModuleNotFoundError: No module named…运行上述代码会导致Python抛出“ModuleNotFoundError: No module named ‘non_existent_module’”的错误，因为non_existent_module这个模块并不存在于Python环境中。通过遵循上述步骤和注意事项，你应该能够解决“ModuleNotFoundError: No module named…

ModuleNotFoundError: No module named 'resource'问题及解决方法

最新发布

专注最新最热的AI知识学习，以实战方式总结心得。

05-07

481

是 vLLM 的底层 C/C++ 编译模块，缺失该文件表明 vLLM 安装不完整或编译失败。• 注意：需保持 CUDA 开发环境正常，Windows 建议通过 WSL 2 执行。• 关键点：使用 Python 3.10 可避免兼容性问题（实测 3.12 易报错）• vLLM 安装时未正确编译 C++ 扩展（常见于 Windows 系统）• 注意：Triton 安装失败可暂时忽略，不影响基础功能。• CUDA 环境配置错误（版本不匹配或驱动异常）若仍报错，建议提供完整的。• 优势：隔离旧环境中的库冲突。

运行LaneNet，基于Tensorflow2.0兼容Tensorflow1.0运行报错。TypeError: Dimension value must be integer or None , go

blink182007的博客

03-29

1500

其中的#w_init = tf.contrib.layers.variance_scaling_initializer()为最原始的代码，会发生报错如下的：module 'tensorflow._api.v2.compat.v1' has no attribute 'contrib'，它会返回操作数除法的整数部分，确保结果是整数类型，而不是浮点数。操作符执行的是浮点除法，即使两个操作数都是整数，结果也会是浮点数。中的所有值都会是整数，这样就不会再抛出关于尝试将浮点数用作维度值的错误了。

百度开源语音识别强大工具PaddleSpeech从0到1快速上手：安装、部署、Debug与测试详尽指南

小胡说人工智能的博客

10-24

4673

掌握语音识别，从百度PaddleSpeech开始！本文详细介绍了PaddleSpeech的环境搭建、安装步骤和实用代码示例，助您轻松入门语音识别技术。面对安装难题？别担心，我们提供了详尽的故障排查指南。一文在手，让您快速启动语音识别项目，开启AI语音世界的大门。

keras模型构建问题汇总

qq_18063797的博客

04-19

2260

keras中，多分支网络有两种实现办法方法1：在支路使用Model 需要每个支路都在最后用model=Model(inputs=input,outputs=output),然后return这个model(属于Model实例)，然后使用model.output连接下面的网络层，例如keras.layers.Concatenate()([model1.output,model2.output])来得...

swift GRPOTrainer类源码解析

zengxiaojian2的博客

04-04

666

如何处理 DeepSpeed Stage 3 参数收集。如何自定义训练回调以优化内存和数据加载。如何定义训练过程中的输入输出缓存结构。它是构建一个高效、可扩展的大模型训练框架的重要组件。*_args,**kwargs):else:else:= 'no':else:else:o-LatestPoe这段代码定义了类，是 Swift 框架下用于强化学习人类反馈（RLHF）的大模型训练器，集成了多个模块（如 vLLM、LMDeploy、DeepSpeed等）。

vllm快速入门

Mooczx的博客

11-22

1058

使用modelscope下载。

VLLM相关问题

前沿技术分享，人工智能、大模型技术分享，日常问题记录

02-21

1488

m0_53573725的博客

08-02

307

在这里安装卸载是会同步到文件夹的，比如我在这里删除了pygame软件包，对应的目录下也会删除pygame文件夹，安装了pygame软件包，也会在目录下生成对应的安装文件。最近，一直在学python,在学习的过程中也涉及到了许多第三方库，既然涉及到了，就得自己去安装，去运行跑一下程序，但在安装的时候，也有一点疑问。我在C盘的解释器的软件包中找到了pygame库，于是，我在cmd窗口准备卸载pygame库，看看这里的pygame软件包会不会消失。同时，在cmd中导入pygame的模块，也是不报错的。

No module named 'vllm._version

02-16

### 解决 Python 中 `No module named 'vllm._version'` 报错当遇到 `No module named 'vllm._version'` 这类错误时，通常意味着 Python 无法找到指定模块或其子模块。具体到此案例中，可能是由于以下几个原因： #### 可能的原因及解决方案 1. **未正确安装 vllm** 如果 vllm 没有被正确安装，则会引发此类导入错误。建议验证 vllm 是否已成功安装并位于正确的环境中。 ```bash conda activate your_env_name pip list | grep vllm ``` 若列表中不存在 vllm 或者版本不符合预期，可以尝试重新安装最新版 vllm[^3]。 2. **路径配置问题** 即使 vllm 已经安装完成，在某些情况下仍可能出现路径解析失败的情况。这可能是因为当前工作目录不在 vllm 安装位置的父级目录下。可以通过切换至 vllm 的源码根目录来解决问题。 ```bash cd /path/to/vllm/source/code/ python -c "import vllm" ``` 3. **环境变量设置不当** 确认 PYTHONPATH 环境变量是否包含了 vllm 库所在的绝对路径。如果缺失，可以在终端临时添加该路径以便测试。 ```bash export PYTHONPATH=$PYTHONPATH:/path/to/vllm/library ``` 4. **库内部结构变化** `_version.py` 文件通常是用来存储软件包的具体版本号信息。有时开发者会在发布新版本时调整文件夹结构或移除旧有的组件。因此，确认所使用的 vllm 版本与其官方文档说明一致非常重要。 5. **依赖冲突** 当存在多个不同版本的相同库共存于同一环境下时，也可能导致类似的 ImportError。考虑创建一个新的干净 Conda 虚拟环境专门用于运行目标应用程序，并严格按照需求文件中的依赖关系进行安装。 ```python # 示例代码片段：检查是否有其他同名库干扰正常加载 try: import vllm except ImportError as e: print(f"ImportError occurred: {e}") else: try: from vllm import _version print("Successfully imported vllm._version") except ImportError as ee: print(f"Failed to import vllm._version with error: {ee}") ```