使用vLLM快速下载使用Huggingface模型

最新推荐文章于 2025-03-18 11:31:25 发布
最新推荐文章于 2025-03-18 11:31:25 发布
阅读量1.7k 收藏 11
点赞数 17
分类专栏： 人工智能 项目实践 文章标签： python linux 人工智能 大模型 vllm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/skywalk8163/article/details/146331730
版权

vLLM 介绍

vLLM 是一个高效的、可扩展的深度学习库，专门用于处理大规模语言模型（LLMs）。它旨在提供一种灵活且高效的方式来训练和推理大型语言模型，特别是在资源受限的环境中。

vLLM主要特点

  1. 高效的推理：

    • vLLM 采用了优化的推理算法，能够在较低的内存占用下实现高效的推理。这使得用户能够在普通硬件上运行大型语言模型，而不需要高端的 GPU。

  2. 支持多种模型：

    • vLLM 支持多种流行的预训练语言模型，包括 GPT、BERT、T5 等。用户可以方便地加载和使用这些模型。

  3. 灵活的架构：

    • vLLM 提供了灵活的 API，允许用户根据自己的需求进行定制和扩展。用户可以轻松地集成自己的模型或修改现有模型的行为。

  4. 分布式训练：

    • vLLM 支持分布式训练，允许用户在多个 GPU 或机器上并行训练模型。这对于处理大规模数据集和模型非常重要。

  5. 易于使用：

    • vLLM 提供了简单易用的接口，用户可以快速上手，进行模型的训练和推理。文档和示例代码也使得新用户能够更快地理解和使用库的功能。

  6. 与 Hugging Face 兼容：

    • vLLM 可以与 Hugging Face 的 Transformers 库无缝集成，用户可以利用 Hugging Face 提供的丰富模型和工具。

vLLM需要用到uvloop，而Windows不支持uvloop，所以这个只能在Linux等系统用了。

服务器模式实践

（本机未成功，kaggle未成功）

安装vLLM库

# Install vLLM from pip:
pip install vllm

有时运行的时候会报缺一些库，可以一并安装

pip install uvloop

 

下载并启动大模型服务

# Load and run the model:
vllm serve "HuggingFaceTB/SmolLM2-135M"

调用模型测试

# Call the server using curl:
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "HuggingFaceTB/SmolLM2-135M",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

交互模式实践

在Kaggle使用T4环境测试通过

先安装vLLM库

# Install vLLM from pip:
pip install vllm

notebook测试 

from vllm import LLM, SamplingParams
# 推理数据以List[str]格式组织
prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
]

# 设置采样参数
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
# 加载模型
llm = LLM(model="facebook/opt-125m", dtype="half")
# llm = LLM("HuggingFaceTB/SmolLM2-135M")
# llm = LLM("HuggingFaceTB/SmolLM2-135M", dtype="half") # p100 和T4 7.5专用
# llm = LLM(model="facebook/opt-125m", device="cpu")  # cpu专用
# llm = LLM("HuggingFaceTB/SmolLM2-135M", device="cpu")  # 指定使用 CPU

# 执行推理
outputs = llm.generate(prompts, sampling_params)

# 输出推理结果
for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

输出：

INFO 03-18 02:12:10 model_runner.py:1434] Capturing cudagraphs for decoding. This may lead to unexpected consequences if the model is not static. To run the model in eager mode, set 'enforce_eager=True' or use '--enforce-eager' in the CLI. If out-of-memory error occurs during cudagraph capture, consider decreasing `gpu_memory_utilization` or switching to eager mode. You can also reduce the `max_num_seqs` as needed to decrease memory usage.
Capturing CUDA graph shapes: 100%|██████████| 35/35 [00:24<00:00,  1.43it/s]
INFO 03-18 02:12:34 model_runner.py:1562] Graph capturing finished in 24 secs, took 0.14 GiB
INFO 03-18 02:12:34 llm_engine.py:436] init engine (profile, create kv cache, warmup model) took 29.92 seconds

Processed prompts: 100%|██████████| 3/3 [00:00<00:00, 21.87it/s, est. speed input: 145.96 toks/s, output: 350.26 toks/s]
Prompt: 'Hello, my name is', Generated text: ' Joel, my dad is my friend and we are in a relationship. I am'
Prompt: 'The president of the United States is', Generated text: ' giving an update to the coronavirus pandemic after testing positive for the virus'
Prompt: 'The capital of France is', Generated text: ' now the capital of the French Republic. (AP Photo/Evan Vucci'

测试完成。 

模型存盘问题

在使用 vLLM从 Hugging Face 下载模型时，模型文件通常会被存储在本地的缓存目录中。具体的存储位置取决于你的操作系统和 Hugging Face 的配置。以下是一些常见的存储位置：

1. 默认缓存目录

Hugging Face Transformers 库默认将模型下载到以下目录：

  • Linux 和 macOS：

    ~/.cache/huggingface/transformers
Copy

  • Windows：

    C:\Users\<YourUsername>\.cache\huggingface\transformers
Copy

2. 自定义缓存目录

如果你在使用 Hugging Face 的库时设置了自定义的缓存目录（通过环境变量 TRANSFORMERS_CACHE），那么模型将会下载到你指定的目录。例如：

export TRANSFORMERS_CACHE=/path/to/your/cache
Copy

3. 使用 vllm 时的模型路径

在使用 vllm 时，你可以指定模型的路径。如果你没有指定路径，vllm 会自动查找 Hugging Face 的缓存目录。

4. 检查下载的模型

你可以在上述目录中找到下载的模型文件，通常包括以下几种文件：

  • pytorch_model.bin：模型权重文件。
  • config.json：模型配置文件。
  • tokenizer.json 或其他与分词器相关的文件。

5. 使用示例

在使用 vllm 加载模型时，你可以直接使用模型的名称，vllm 会自动从缓存中加载模型。例如：

from vllm import VLLM

model = VLLM("model_name_or_path")

如果模型已经下载到缓存中，vllm 会直接使用缓存中的文件。

总结

Hugging Face 下载的模型通常存储在用户主目录下的 .cache/huggingface/transformers 目录中。可以根据需要自定义缓存目录，并在使用 vllm 时直接加载模型。

总结

cpu下没有测试成功。

在Kaggle T4环境下测试成功。

LMStudio等软件是支持使用vLLM的，Huggingface也是支持vLLM的。

本身使用vLLM的目的是为了从Huggingface下载模型

from vllm import LLM
llm = LLM(model="HuggingFaceTB/SmolLM2-135M", device="cpu")

但是没有成功。

 

调试

报错undefined symbol: cuTensorMapEncodeTiled

 File "/home/skywalk/py310/lib/python3.10/site-packages/vllm/platforms/cuda.py", line 15, in <module>
    import vllm._C  # noqa
ImportError: /home/skywalk/py310/lib/python3.10/site-packages/vllm/_C.abi3.so: undefined symbol: cuTensorMapEncodeTiled

应该是cuda版本没弄好，卡是11.04 ，安装的是11.08

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.256.02   Driver Version: 475.14       CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Quadro K4200        Off  | 00000000:05:00.0  On |                  N/A |
|ERR!    0C    P8    16W / 110W |    578MiB /  4096MiB |    ERR!      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
+-----------------------------------------------------------------------------+
pip list |grep cuda
cupy-cuda12x                      13.4.0
nvidia-cuda-cupti-cu11            11.8.87
nvidia-cuda-cupti-cu12            12.4.127
nvidia-cuda-nvrtc-cu11            11.8.89
nvidia-cuda-nvrtc-cu12            12.4.127
nvidia-cuda-runtime-cu11          11.8.89
nvidia-cuda-runtime-cu12          12.4.127

自己的显卡有问题，先搁置

后来是到Kaggle去做测试。

kaggle下测试报错CUDA error

RuntimeError: CUDA error: no kernel image is available for execution on the device
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.

将P100换成T4 

Kaggle T4碰到爆显存的问题

废了很大劲终于运行成功了，用习惯各大厂家的api调用，再用vLLM真的很不习惯，一不小心GPU显存就爆掉

经测试，4条prompt就会爆内存，3条就ok 

prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
]

每次运行完都要重启清内存，感觉pytorch的显存控制没有飞桨做的好，在星河社区用飞桨感觉没这么容易爆显存。

尝试在本机cpu下载模型失败报错：No module named 'vllm._C'

使用命令

from vllm import LLM
llm = LLM(model="HuggingFaceTB/SmolLM2-135M", device="cpu")

报错信息： 

    import vllm._C  # noqa
ModuleNotFoundError: No module named 'vllm._C'

问题先搁置，换用transformers下载吧。 

LLM - 使用 vLLM 部署 Qwen2-VL 多模态大模型 (配置 FlashAttention) 教程
AGI
09-26 5112
vLLM 用于 大语言模型(LLM) 的推理和服务，具有多项优化技术，包括先进的服务吞吐量、高效的内存管理、连续批处理请求、优化 CUDA 内核以及支持量化技术，如GPTQ、AWQ等。FlashAttention 是先进的注意力机制优化工具，通过减少内存访问和优化计算过程，显著提高大型语言模型的推理速度。
VLLM专题（三十二）—与 HuggingFace 的集成
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
03-18 67
它使用来自 vLLM、HuggingFace transformers 的配置类，或者从模型仓库中加载配置类。通过这种集成，vLLM 能够高效地加载和运行 HuggingFace 模型，同时提供了灵活的配置选项以支持不同的使用场景。字段来确定要初始化的模型类，因为它在注册表中维护了从架构名称到模型类的映射。在获取分词器后，vLLM 会将分词器的一些计算成本较高的属性缓存起来，具体逻辑在。vLLM 从 HuggingFace 模型中心下载模型权重，使用模型参数作为模型名称，参数来使用其他模型的分词器。
HuggingFace模型下载全流程（国内源）
qq_42610612的博客
02-19 1199
服务器代理也配了，huggingface-cli 了一下午，愣是没下载成，故撰此文，以示吾之愚。国内的魔搭（ModelScope）社区作为huggingface的平替，官方给了很多下载示例，无论是python还是命令行，都是非常简单易上手，这里就不多说了。但是，相比于huggingface，魔搭还是有很多不足的，比如某个大模型的AWQ、GPTQ不同位数的量化版本等。因此，有些情况下还是不得不拥抱下脸脸。
vLLM 部署本地大模型
Michael是个半路程序员
11-24 3768
是一个快速且易于使用的库，用于 LLM 推理和服务。如果不能连接 huggingface，设置。失业+面试中，今天学习一个新玩具。
如何让vllm使用modelscope而不是huggingface来下载模型？
xiezhipu的博客
03-01 1655
通过上述配置，vLLM会自动从ModelScope镜像源下载模型文件，下载速度相比HuggingFace可提升5-10倍。此变量需在初始化vLLM引擎前生效，可临时设置或写入。方法预下载模型，避免服务启动时的长时间等待。若需自定义模型缓存路径，设置环境变量。，需注意磁盘空间是否充足。在运行vLLM前通过命令。
LLM推理入门实践：基于 Hugging Face Transformers 和 vLLM
qq_43799400的博客
08-05 3344
LLM推理入门实践：基于 Hugging Face Transformers 和 Qwen2模型 进行文本问答
vllm 切换模型下载源 与安全设置
最新发布
tonysh_zds的博客
03-18 304
vLLM的模型下载默认来源为 HuggingFace。在国内访问很可能不畅，为此改从国内的 魔搭社区 下载模型。既在运行前先设置VLLM_USE_MODELSCOPE=True既可切换下载源为 魔搭社区。（注意：在HuggingFace与魔塔社区上模型名称可能略有不同）。
vllm generate推理与Huggingface generate推理对齐(长样本)
鲨鱼儿的博客
06-24 8178
一、
大模型推理和部署框架vLLM
qq_52053775的博客
09-18 2826
操作系统中的内存分页是一种用于管理和分配计算机内存的方法，主要应用于 Windows 和 Unix 等操作系统。它的基本思想是将内存分割成多个“页面”（Page），操作系统根据程序运行的需要将页面动态地加载到物理内存中，而不常用的页面则可以暂时存放到硬盘上的交换文件（Swap File）中。这种技术可以让内存使用更加高效，避免将所有程序的数据一次性加载到物理内存中，尤其是当系统资源有限时，这种机制可以显著提升系统的性能。
阿里 通义千问LLM Qwen-7B-Chat与Qwen-VL-Chat 使用；国内huggingface模型下载
weixin_42357472的博客
09-04 4038
参考： https://github.com/QwenLM/Qwen-7B https://github.com/QwenLM/Qwen-VL下载模型： https://huggingface.co/Qwen 下载好代码与模型后运行： 下载好代码与模型后运行：运行QwenQwen-VL-Chat-Int4 大概需要15G显卡：（运行报错基本可以对应升级包的库即可 accelerate、peft等）
学习AI大模型必须要懂得知识点：Ollama 、 Hugging Face 、 vLLM 介绍与AI大模型文件后缀的介绍
Json的知识梦工厂
02-13 872
vLLM 是一个针对 大规模语言模型 推理的高效框架，通过优化内存管理、支持分布式计算、以及减少计算资源消耗，提供了 高性能和低延迟 的推理能力。它适用于需要处理超大语言模型的任务，并且能够有效地在本地或分布式环境中运行。好了 这三个 知识点 说完了 ，接下来 再来总结一下。
【vLLM 学习】安装
HyperAI超神经
01-10 2033
vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →https://vllm.hyper.ai/vLLM 是一个 Python 库，包含预编译的 C++ 和 CUDA (12.1) 二进制文件。
vLLM私有化部署大语言模型LLM
zyplanke的专栏
01-14 4566
vLLM是一种用于大规模语言模型（LLM）推理的框架，旨在提高模型的吞吐量和降低延迟。vLLM通过优化内存管理和调度策略，显著提升了模型在高并发场景下的性能。vLLM利用了一种名为PagedAttention的注意力机制，该机制借鉴了虚拟内存和分页技术，以减少缓存内存（KV Cache）的浪费，并允许在请求之间灵活共享KV缓存。这种设计使得vLLM在保持与现有系统相同延迟水平的情况下，能够将吞吐量提高2到4倍。
本地安装 vllm v0.6.4.post1
engchina的专栏
11-16 707
本地安装 vllm v0.6.4.post1
vLLM本地部署GLM-4-9b大模型，ChatTTS+AutoGen实现多AI对话转语音！打造AI小说智能体！AI写高考作文
m0_57057282的博客
06-27 1379
5）使用pyautogen完成用glm进行高考作文编写，并用gpt3-5评审的流程。8） chatTTS调用autogen的代码。3）用vllm以openai接口的形式运行。6)本地部署chatTTS（文字转语音）7）测试chatTTS。2）去魔塔社区下载模型。
vLLM框架：使用大模型推理框架
CITY_OF_MO_GY的博客
02-07 2360
支持 CUDA 11.8 及以上（推荐 NVIDIA A100/H100，RTX 4090 等消费级卡需注意显存限制）vLLM 专为高效部署大规模语言模型设计，尤其适合高并发推理场景，关于对vLLM的介绍请看。: 至少 20GB（运行 7B 模型），推荐 40GB+（运行 13B/70B 模型）：确保 CUDA 版本匹配，合理选择量化方案。：通过 OpenAPI 兼容接口快速构建服务。：利用连续批处理、动态块分配提升吞吐。：自动合并多个请求，提升吞吐量。：集成视觉模型实现图文联合推理。
vllm安装及总结
热门推荐
AI智能，无处不在
10-10 1万+
vllm的安装和使用，对torch、cuda、xformers等有较多的版本依赖，过程中有一些曲折，故整理记录如下。
详说vllm的安装
强化学习曾小健
07-25 4663
【代码】详说vllm的安装。
No module named 'vllm._version
02-16
### 解决 Python 中 `No module named 'vllm._version'` 报错 当遇到 `No module named 'vllm._version'` 这类错误时，通常意味着 Python 无法找到指定模块或其子模块。具体到此案例中，可能是由于以下几个原因： #### 可能的原因及解决方案 1. **未正确安装 vllm** 如果 vllm 没有被正确安装，则会引发此类导入错误。建议验证 vllm 是否已成功安装并位于正确的环境中。 ```bash conda activate your_env_name pip list | grep vllm ``` 若列表中不存在 vllm 或者版本不符合预期，可以尝试重新安装最新版 vllm[^3]。 2. **路径配置问题** 即使 vllm 已经安装完成，在某些情况下仍可能出现路径解析失败的情况。这可能是因为当前工作目录不在 vllm 安装位置的父级目录下。可以通过切换至 vllm 的源码根目录来解决问题。 ```bash cd /path/to/vllm/source/code/ python -c "import vllm" ``` 3. **环境变量设置不当** 确认 PYTHONPATH 环境变量是否包含了 vllm 库所在的绝对路径。如果缺失，可以在终端临时添加该路径以便测试。 ```bash export PYTHONPATH=$PYTHONPATH:/path/to/vllm/library ``` 4. **库内部结构变化** `_version.py` 文件通常是用来存储软件包的具体版本号信息。有时开发者会在发布新版本时调整文件夹结构或移除旧有的组件。因此，确认所使用的 vllm 版本与其官方文档说明一致非常重要。 5. **依赖冲突** 当存在多个不同版本的相同库共存于同一环境下时，也可能导致类似的 ImportError。考虑创建一个新的干净 Conda 虚拟环境专门用于运行目标应用程序，并严格按照需求文件中的依赖关系进行安装。 ```python # 示例代码片段：检查是否有其他同名库干扰正常加载 try: import vllm except ImportError as e: print(f"ImportError occurred: {e}") else: try: from vllm import _version print("Successfully imported vllm._version") except ImportError as ee: print(f"Failed to import vllm._version with error: {ee}") ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值