【vLLM】ModuleNotFoundError: No module named ‘vllm.model_executor.layers‘

问题场景

pip from source 后 start from bash 某模型时遇到该问题，分析为路径为正确解析所致，报错如下：

解决方案

首先查看vllm是否安装成功，路径如 anaconda->envs->lib->python3.x->site-pachakges->vllm

发现vllm实际上已经安装了，由此推测导包时路径出现问题

将目录切换至 vllm source code 下面，再通过bash启动模型，问题解决

执行命令

cd /data/apps/vllm_source_code/vllm

然后 bash 启动 vLLM 推理服务即可。