vLLM专题（二）：安装-CPU

已于 2025-03-19 11:32:37 修改
阅读量600 收藏
点赞数
分类专栏： 大模型专题系列 文章标签： 人工智能
于 2025-02-16 15:15:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39698985/article/details/145661922
版权

vLLM 是一个 Python 库，支持以下 CPU 变体。选择您的 CPU 类型以查看供应商特定的说明：
Intel/AMD x86
vLLM 最初支持在 x86 CPU 平台上进行基本模型推理和服务，支持的数据类型包括 FP32、FP16 和 BF16。

注意
此设备没有预构建的 wheel 包或镜像，因此您必须从源代码构建 vLLM。

1. 要求

Python 版本 3.9 至 3.12"
Intel/AMD x86
操作系统: Linux
编译器: gcc/g++ >= 12.3.0（可选，推荐）
指令集架构（ISA）: AVX512（可选，推荐）

提示
Intel Extension for PyTorch (IPEX) 为 PyTorch 扩展了最新的功能优化，以在 Intel 硬件上提供额外的性能提升。

2. 使用 Python 设置

2.1 创建一个

了解本专栏 订阅专栏 解锁全文 超级会员免费看
vllm专题（一）：安装-GPU
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
02-16 442
vLLM 是一个 Python 库，支持以下 GPU 变体。vLLM 包含预编译的 C++ 和 CUDA（12.1）二进制文件。vLLM 支持配备 ROCm 6.3 的 AMD GPU。此设备没有预构建的 wheel 包，因此您必须使用预构建的 Docker 镜像或从源代码构建 vLLM。vLLM 初步支持在 Intel GPU 平台上进行基本模型推理和服务。此设备没有预构建的 wheel 包或镜像，因此您必须从源代码构建 vLLM。
vLLM专题（八）-使用Run:ai模型流加载模型
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
02-20 116
Run:ai 模型流（Run:ai Model Streamer）是一个用于并发读取张量并将其流式传输到 GPU 内存的库。更多详细信息可以在 Run:ai 模型流文档中查阅。vLLM 支持使用 Run:ai 模型流加载 Safetensors 格式的权重。要将其作为与 OpenAI 兼容的服务器运行，请添加。
vLLM CPU和GPU模式署和推理 Qwen2 等大语言模型详细教程
老牛啊
08-11 3919
vLLM默认并不支持纯CPU模式部署和推理模式，老牛同学应网友要求，根据vLLM官网整理vLLM在CPU模式下如何部署和推理大语音模型，并以Qwen2为了进行验证和演示……
LLM 部署(3)——vLLM CPU 和 GPU 模式部署大语言模型
最新发布
哦豁灬
04-08 1651
vLLM的依赖包默认支持 GPU 部署和推理，如果使用CPU推理，需要根据vLLM源代码重新编译打包。frpc_linux_amd64文件默认在 HF 上，需要通畅的网络，百度网盘。需要下载vLLM源代码，自己编译打包和安装。(如是Windows WSL子系统，可以通过。参数启用 GPU 多卡分布式并行推理能力。vLLM目前只支持Linux操作系统。命令获取 WSL 的 IP 地址)客户端的使用方法，与之前完全一样。
【总结篇】LLM推理环境安装部署全指南
flymyd的博客
02-25 3678
本文介绍了安装WSL2、Ubuntu、NVIDIA显卡驱动、CUDA 12.4.1、cuDNN的方法及Xinference、vLLM、SGLang等推理框架的部署使用方法。本文适用于NVIDIA显卡用户，建议GPU架构为Turing或更新（对应RTX 20系或以上）。
vLLM在只有cpu的服务器（X86_64）部署教程
jiboli123的博客
09-29 1269
另外，vLLM的CPU版本，依赖Intel的oneAPI工具，下载安装工具地址：https://www.intel.com/content/www/us/en/developer/tools/oneapi/base-toolkit-download.html。但是部署过程中，提示下面的错误即。
【vLLM 学习】使用 CPU 安装
HyperAI超神经
02-07 2245
vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →vLLM 最初支持在 x86 CPU 平台上的基本模型推理和服务，数据类型为 FP32 和 BF16。
本地部署Qwen2大模型之三：编译CPU版vLLM
F8_11的博客
12-24 4616
继续探究vLLM方式在本地部署Qwen2大模型的方法，对于未配备GPU的电脑，手动编译并安装CPU版的vLLM。
vLLM 项目安装和配置指南
gitblog_07085的博客
09-13 2119
vLLM 项目安装和配置指南 vllm A high-throughput and memory-efficient inference and serving engine for LLMs 项目地址: https://gitc...
vllm --安装vllm
m0_50920058的博客
03-17 478
默认使用HuggingFace.容易下载超时。所以就按照上述命令来本地下载模型，下载模型成功后即可与模型交流。出现导入模块错误，安装正确版本的模块即可。使用conda安装，前提安装conda。安装modelscope库。.(确定GPU可用)
vLLM专题（九）- 量化
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
02-20 196
因此，在此模式下，延迟改进是有限的。FP8模型将在计算能力大于8.0的GPU（Ampere）上运行，作为仅权重的W8A16，利用FP8 Marlin。您的模型检查点，包含量化后的权重和激活值，应位于Meta-Llama-3-8B-Instruct-FP8/。然而，由于其较小的动态范围（±240.0），E4M3通常需要与每个量化张量一起使用更高精度（FP32）的缩放因子。然而，由于其较小的动态范围（±240.0），E4M3通常需要与每个量化张量一起使用更高精度（FP32）的缩放因子。
VLLM专题（二十七）—使用 Kubernetes
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
03-17 103
在Kubernetes上部署vLLM是一种可扩展且高效的方式来服务机器学习模型。本指南将引导您使用原生Kubernetes部署vLLM。
vLLM专题（四）-故障排除
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
02-16 280
本文件概述了一些您可以考虑的故障排除策略。如果您认为发现了一个 bug，请首先搜索现有的问题，看看是否已经有人报告。如果没有，请提交一个新问题，并尽可能提供相关的详细信息。一旦您调试完问题，请记得关闭任何已定义的调试环境变量，或者简单地启动一个新 shell，以避免受残留的调试设置影响。否则，系统可能会因为调试功能未关闭而变得缓慢。
vllm安装及总结
AI智能，无处不在
10-10 1万+
vllm的安装和使用，对torch、cuda、xformers等有较多的版本依赖，过程中有一些曲折，故整理记录如下。
详说vllm的安装
强化学习曾小健
07-25 4666
【代码】详说vllm的安装。
vLLM&cuda安装笔记
热门推荐
golfxiao的专栏
08-03 1万+
其次是cuda，vLLM是拿12.1版本编译的，但本地机器装的cuda为12.0，尝试过向下兼容的方式后无果，最终选择按照官方建议的cuda-12.1来重新安装，这意味着不仅仅是vLLM，机器上已经安装的pytorch、cuda都需要重新安装。
本地部署 vllm
engchina的专栏
12-25 5004
本地部署 vllm
【大语言模型_4】源码编译vllm框架cpu版
没枕头我咋睡觉
02-20 547
1、vllm源码编译安装完成后，运行模型提示operator torchvision::nms does not exist错误。通过官方提供的pip install vllm安装的vllm框架不支持cpu加载模型。因为本人使用系统为uos1070e，官方提供版本较低，所以均选择源码安装。1、gcc/g++ 安装版本要求12.0版本及以上。2、 cmake版本要求3.26及以上。解决方法：安装torchvisioncpu版本。python版本：3.10。
【vLLM 学习】安装
HyperAI超神经
01-10 2035
vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →https://vllm.hyper.ai/vLLM 是一个 Python 库，包含预编译的 C++ 和 CUDA (12.1) 二进制文件。
vllm qwen2-vl-7b
02-15
### 关于vLLM项目中Qwen2-VL-7B模型的信息 #### 模型概述 Qwen2-VL-7B 是基于 Qwen 架构的一个特定变体，该架构由阿里云开发并开源。此模型旨在处理多模态任务，特别是涉及视觉和语言理解的任务。它集成了强大的图像编码器与先进的自然语言处理能力，使其能够理解和生成高质量的文字描述给定图片的内容。 #### 技术细节 根据官方文档，为了运行 Qwen2-VL-7B 模型，环境配置需满足一定条件[^1]。具体来说： - **Python 版本**: Python >= 3.8 推荐使用较新版本以获得更好的兼容性和性能优化。 - **PyTorch 要求**: 需要安装 PyTorch 并且其版本应大于等于 1.12[^4]。这可以通过指定额外索引来确保获取适用于 CPU 或 GPU 的正确构建版本 `pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu`。 - **其他依赖项**: - Transformers 库版本固定为 4.37.0，可通过命令 `pip install transformers==4.37.0` 来完成安装。 - Accelerate, Tiktoken 和 Einops 这些辅助工具对于加速推理过程以及提高效率至关重要，同样建议按照上述方法进行安装。 #### 安装指南 如果打算在不支持 CUDA 加速的设备上部署 Qwen2-VL-7B，则可以选择仅针对 CPU 的安装方案[^3]。操作流程如下所示： ```bash # 卸载现有 vllm 及 pytorch 包以防冲突 pip uninstall vllm torch # 下载并解压缩源码包 wget https://files.pythonhosted.org/packages/source/v/vllm/vllm-0.6.5.tar.gz tar -xvf vllm-0.6.5.tar.gz cd vllm-0.6.5 # 安装必要的依赖文件（专用于CPU） pip install -v -r requirements-cpu.txt \ --extra-index-url https://download.pytorch.org/whl/cpu # 设置目标设备变量并执行安装脚本 export VLLM_TARGET_DEVICE=cpu python setup.py install ``` 通过以上步骤即可成功搭建起适合本地测试或生产使用的 Qwen2-VL-7B 环境。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无声之钟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值