vllm在Linux安装遇到的问题

最新推荐文章于 2024-09-12 18:48:09 发布
最新推荐文章于 2024-09-12 18:48:09 发布
阅读量1.4k 收藏 2
点赞数 3
文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Q794469/article/details/138672831
版权

开始用

pip install vllm 安装

但发现 安装到一半走不动了

后来发现是 cuda版本太低

将vllm版本降至0.2.0即可。

pip install vllm==0.2.0

Q794469
关注
Linux安装vLLM模型推理框架问题总汇
洛阳泰山的博客
03-15 2124
vLLM 是一个专为大规模语言模型（Large Language Models, LLM）推理优化的服务框架和推理引擎。它可以高效地管理和部署预先训练好的大型语言模型，尤其是那些具有极高参数数量和复杂度的模型，如GPT系列及其他基于Transformer架构的模型。：通过采用诸如PagedAttention这样的技术，vLLM能够有效地管理内存并提高注意力机制中Key和Value的处理效率，从而提升模型推理的速度和并发处理能力。
利用vLLM进行开源大模型本地部署（待继续刷新）
baidu_20834545的专栏
04-25 1124
通过vLLM本地部署开源大模型
vllm安装踩坑
我的备忘录
07-18 1730
我没找到好的解决办法，issue里说的情况都是在用源码安装后遇到的，我直接在干净环境ubuntu20.24 cuda12.2下面pip安装，仍然遇到了问题。而且问题指向是torch里的class缺少属性，因此我猜测是torch的问题，vllm的每个版本又强制要求某个torch版本，因此我只能选择之前的vllm版本。vllm0.5.2最近一周出了个不好搞的新issue，会遇到torch.ops._C没有rms_norm，或者没有reshape_and_cache_flash这两个属性的问题。
vllm指定版本安装
最新发布
CSDN_WHB的博客
09-12 238
conda安装 （版本看自己需要）
手动安装VLLM出现的问题：fatal error: cuda_fp8.h: No such file or directory
qq_43367614的博客
09-03 771
需要这个的原因，可能是下面的nvidia-cuda-toolkit残留，导致被判定为cuda11.0了，不过设置了后，问题也不出现了。如果上面两个命令都有nvcc路径，并且不一致，就是不行的，需要卸载nvidia-cuda-toolkit。因为系统上 nvidia-cuda-toolkit 也 存在 NVCC 在 /usr/bin下面。就行，此处是禁用 HTTP/2。
【linux 安装vllm=0.5.4】
qq_39749966的博客
08-21 451
安装vllm0.5.4
安装vllm的时候卡主：Collecting vllm-nccl-cu12＜2.19,＞=2.18 (from vllm)
WGS.
05-27 2389
安装vllm的时候卡主：Collecting vllm-nccl-cu12=2.18 (from vllm)
linux部署Mixtral-8x7B-Instruct实践（使用vLLM/ transformer+fastapi）
m0_52942489的博客
02-16 3041
Linux下用vLLM本地部署Mixtral-8x7B-instruct，部署成功
07-04 周四 关于vLLM(LLMs_inference)源码安装过程问题与解决
不当初
07-10 1881
由于最近需要向vLLM上集成功能，因此，需要能够调试自己的仓库LLMs_Inference，该文档记录了源码编译的完整的过程。正常简单执行下述的代码，即可完成源码的编译安装cd vllm但实际上还是比较麻烦的。因为仓库LLMs_Inference是从vllm仓库fork出来的，所以理论上应该是一样的。仓库中有多个依赖环境，这些文件通常用于记录项目的依赖关系，以便在特定环境中进行安装和配置。：一般用于列出项目所需的所有依赖项及其版本要求。通过在该文件中指定所需的库和版本，方便一次性安装所有依赖。
causal-conv1d-cuda.cpython-310-x86-64-linux-gnu.so
05-27
安装成功后，还是遇到ImportError xxxx causal_conv1d_cuda.cpython-xxx-linux-gnu.so undefined symbol，用此编译好的文件进行替换即可
python系列&deep_study系列：vllm安装踩坑 && undefined symbol when importing torchaudio with pytorch 报错解决
weixin_54626591的博客
07-31 302
vllm安装踩坑 && undefined symbol when importing torchaudio with pytorch 报错解决
Linux系统部署搭建AI私人知识库助手教程
洛阳泰山的博客
04-08 916
本篇文章教你如何搭建本地的私有大语言模型，和向量画数据库，实现一个本地的私有AI知识问答客服系统。需要用到的技术是开源项目由docker,fastgpt、one-api，开源LLM大模型，vllm或者ollama。开启部署前，一张N卡，30系列或者40系列，或者A系列的都行，显存至少4G，内存至少8G，CPU四核即可。这样才能跑得动一个比较小的开源LLM模型。
在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）
gongdiwudu的专栏
02-05 1万+
这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。
详解FastChat部署大模型API的实战教程
热门推荐
herosunly的博客
04-27 11万+
本文主要介绍了使用FastChat部署大模型API，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型文件下载 3. 运行API 3.1 一键启动 3.2 一键关闭 3.3 测试API 4. vllm API 4.1 一键启动 4.2 一键关闭 4.3 测试API
pip3升级
zhaolinfei_的博客
10-22 458
pip3升级 提示 You are using pip version 10.0.1, however version 18.1 is available. You should consider upgrading via the ‘pip install --upgrade pip’ command. python3 -m pip install --upgrade pip ...
使用 vLLM 运行 GLM-4-9B
爱学习，爱编程
06-06 3295
在 wsl 中安装 vLLM；使用 huggingface-cli 下载 GLM-4-9B；运行 basic_demo
使用 vLLM 部署本地 LLM 指南
spicy_chicken123的博客
01-24 2万+
我们输入以下命令启动服务器，–model 为本地模型的路径，–served-model-name 是模型在服务器中的别名，这里我们取简称 openchat，其他都是默认值，当然也可以自己设置。在这里我们不演示了，直接将 vLLM 部署为模仿 OpenAI API 协议的服务器，这使得 vLLM 可以用作使用 OpenAI API 的应用程序的直接替代品。当然，你也可以试一试 ChatCompletions 格式的请求，ChatCompletions API 的请求内容如下，两种的格式还是有一些区别的。
windows vllm安装失败
03-14
Windows VLLM（Volume License Activation Management Tool）是微软提供的用于批量激活Windows操作系统的工具。如果您在安装Windows VLLM时遇到了失败的情况，可能是由于以下原因之一： 1. 安装文件损坏：请确保您下载的安装文件完整且未被损坏。您可以尝试重新下载安装文件并重新安装。 2. 系统要求不满足：请检查您的计算机是否满足Windows VLLM的系统要求。确保您的操作系统版本和硬件配置符合要求。 3. 权限问题：安装Windows VLLM可能需要管理员权限。请确保您以管理员身份运行安装程序。 4. 兼容性问题：某些软件或驱动程序可能与Windows VLLM不兼容，导致安装失败。您可以尝试更新或卸载这些软件或驱动程序，然后重新安装。 如果您能提供更具体的错误信息或失败的详细描述，我可以给出更准确的解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值