vllm推理服务兼容openai服务API

最新推荐文章于 2025-03-15 18:58:04 发布

泰山AI

最新推荐文章于 2025-03-15 18:58:04 发布

阅读量5k

点赞数 19

分类专栏：从零构建AI大模型：开发者实战指南文章标签： vllm llm

本文链接：https://blog.csdn.net/weixin_40986713/article/details/136972561

版权

从零构建AI大模型：开发者实战指南专栏收录该内容

133 篇文章 ¥39.90 ¥99.00

订阅专栏

vLLM 提供了一个兼容 OpenAI Completions 和 Chat API 的 HTTP 服务器，支持 OpenAI 的大部分参数及一些额外的采样参数。用户可以通过 Python 或 Docker 启动服务器，并使用 OpenAI 的 Python 客户端或直接 HTTP 调用来调用服务。vLLM 还支持聊天模板、LoRA 模块配置和多种额外参数，如 echo、add_generation_prompt 等，以增强对话和完成任务的能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

OpenAI兼容服务器

vLLM 提供了一个实现了 OpenAI 的 Completions 和 Chat API 的 HTTP 服务器。

您可以通过 Python 或 Docker 启动该服务器：

python -m vLLm.entrypoints.openai.api_server --model meta-llama/Llama-2-7b-hf --dtype float32 --api-key token-abc123

要调用服务器，您可以使用官方的 OpenAI Python 客户端库或其他任何 HTTP 客户端。

from openai import OpenAI
client = OpenAI(
    base_url

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

泰山AI

关注关注

19
点赞
踩
27

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

qwen1.5 chat vllm推理使用案例；openai api接口使用

weixin_42357472的博客

02-19

2515

参考：https://github.com/QwenLM/Qwen1.5下载：https://huggingface.co/collections/Qwen/qwen15-65c0a2f577b1ecb76d786524。

Ollama教程——兼容OpenAI API：高效利用兼容OpenAI的API进行AI项目开发

walkskyer的博客

04-10

1万+

对于希望充分利用ollama API的开发者来说，通过ollama提供的Python库、JavaScript库和REST API进行访问将是一个更全面的选择。ollama作为一个兼容OpenAI API的实验性平台，为开发者提供了一个灵活而强大的选择，使他们能够更容易地将现有应用与ollama集成，同时探索AI技术的新可能性。ollama是一个兼容OpenAI API的框架，旨在为开发者提供一个实验性的平台，通过该平台，开发者可以更方便地将现有的应用程序与ollama相连接。

2 条评论您还未登录，请先登录后发表或查看评论

vLLM 部署大模型问题记录

技术分享，读书笔记，面试宝典，算法积累，应有尽有～

10-17

8527

vLLM 提供了一个官方的 Docker 镜像用于部署，这个镜像可以用来运行与 OpenAI 兼容的服务，并且在 Docker Hub 上可用，名为 vllm/vllm-openai。引擎启动参数：https://docs.vllm.ai/en/stable/models/engine_args.html。引擎启动参数：https://docs.vllm.ai/en/stable/models/engine_args.html。Llama3.2 最新支持视觉大模型，不支持音频输入。

vLLM 代码示例：模型推理、服务部署及API调用

最新发布

学亮编程手记

03-15

630

【代码】vLLM 代码示例：模型推理、服务部署及API调用。

vllm0.5.0的api_server参数说明

xinvictory的专栏

12-08

2600

API 中使用的模型名称。--max-context-len-to-capture (已废弃): 替换为 --max-seq-len-to-capture，表示由 CUDA 图覆盖的最大上下文长度或序列长度。--ngram-prompt-lookup-max, --ngram-prompt-lookup-min: 在推测解码中 ngram 提示查找窗口的最大和最小尺寸。--worker-use-ray: 已废弃，建议使用 --distributed-executor-backend=ray。

快速上手部署 vLLM 作为 OpenAI API 替代服务

srudfktuffk的博客

01-07

1353

vLLM 能够作为一个本地服务运行，允许开发者使用 OpenAI API 的格式与之交互。这种设计使得开发者可以利用现有的基础架构和开发生态系统，无需修改太多代码。同时，这为开发者提供了高效的模型推理和灵活的部署选项。

【以Qwen2大模型为例】vLLM部署流式推理，openai接口调用，requests调用

懒惰是科技进步的原始动力

06-25

8394

Qwen2-7B-Instruct大模型部署，vLLM加速流式推理，openai接口调用

vllm+openai 加速模型推理

weixin_72100405的博客

10-29

757

【代码】vllm+openai 加速模型推理。

使用vllm部署ChatGLM2并提供兼容 OpenAI 的 API Server实现异步访问

weixin_43278082的博客

12-12

8687

运行下面的命令，默认host为0.0.0.0，默认端口为8000，也可以通过--host --port指定。使用chatglm等模型时，请指定 --trust-remote-code参数。调用时可以用下面测试，注意model参数一定要传。SamplingParams 类中的说明。中的sampling_params。按照说明安装就可以了，不赘述。到vllm的GitHub仓库。其他更多的参数请参照。具体参数的含义请参照。

华为MindIE兼容OpenAI接口与兼容vLLM OpenAI接口的区别（华为VLLM）

Dontla的博客

02-27

1806

等技术显著提升推理性能。其核心优势在于优化内存管理与并行计算，适用于自然语言处理（NLP）、图像生成、语音识别等场景。华为MindIE提供的两种兼容接口（兼容OpenAI接口和兼容vLLM OpenAI接口）主要在。Ascend-vLLM已用于Qwen1.5等大模型的NPU推理部署（为华为生态下的AI推理提供了高效、灵活的解决方案。）是一个针对大规模语言模型推理的高效框架，通过。华为针对昇腾NPU推出了。），并通过社区持续演进（

vllm 推理可商用智源Aquila；openai api使用、及langchain使用接口聊天

weixin_42357472的博客

10-14

839

vllm需要更新支持Aquila2的commit：（需要安装包里文件替换换新增下面新的支持Aquila2的修改文件）

开源模型应用落地-LangChain高阶-集成vllm-QWen1.5-OpenAI-Compatible Server（三）

热门推荐

没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干

04-26

1万+

langchain集成vllm，构建与OpenAI-API兼容的API服务

curl访问流式非流式大模型openai api接口；vllm openai api接口requests post访问

weixin_42357472的博客

05-10

1182

参考：https://platform.openai.com/docs/api-reference/making-requests。直接是vllm的openai api接口。

vLLM 用于 LLM 推理服务和客户端的访问方式 1 - openai

二分掌柜的

10-25

1385

flyfish

使用vLLM Chat实现开源API部署，轻松替代OpenAI API

adfyvatbia的博客

10-02

462

vLLM Chat 是一个强大的工具，可用于替代 OpenAI API。通过使用包，开发者可以快速集成并利用 vLLM 模型。本文着重讲解如何开始使用这些功能，并提供详细的 API 参考。vLLM Chat 是 OpenAI API 的强大替代方案，结合包可以提供与 OpenAI API 类似的接口和功能。在部署过程中，理解API代理服务和认证配置至关重要。LangChain OpenAI API 文档vLLM 官方文档。

源大模型Yuan2.0-M32/vllm/yuan_openai_api_server.py 源码解析之vllm推理服务

强化学习曾小健

07-11

983

这段代码读取一个 JSONL 文件中的每一行，提取prompt字段，然后使用 vllm 部署的 Yuan API 发送请求，生成文本后打印结果。代码目前设置为仅处理文件中的第一行。

【AI大模型应用开发】阿里通义千问API如何使用？如何无缝兼容OpenAI？

同学小张的博客

07-22

2118

前面文章中，我们有介绍过OpenAI API、百度文心一言API、智谱AI API、月之暗面Moonshot API的使用方法，今天这篇文章，我们再来学习下阿里通义千问API的使用方法。并且，在OpenAI API对中国地区封禁的背景下，我们也来看下通义千问API是否能够完全替代OpenAI API，实现无缝迁移。

OpenAI库无缝对接国产大模型：全面解析各厂商API接口与参数配置指南

栖客

12-26

5757

随着OpenAI的API在某些地区被限制使用，国内AI开发者和企业开始积极寻找替代方案。国产大模型在此背景下迎来了重要发展机遇，多家科技公司纷纷推出自己的大模型，并提供API接口供开发者使用。使用OpenAI库连接国产大模型已经在多个领域得到了广泛应用，如智能客服、文本生成、图片生成等。随着国产大模型技术的不断发展和完善，以及OpenAI接口的广泛普及和应用，相信未来会有更多的创新应用涌现出来。OpenAI库是一个允许开发者通过简单的HTTP请求与OpenAI的模型进行交互的Python库。

vLLM 用于 LLM 推理服务和客户端的访问方式 5 - 推理服务

二分掌柜的

11-01

598

flyfish

huggingface vllm

02-06

### Hugging Face vLLM 使用教程 #### 安装 vLLM 为了使用 vLLM，首先需要安装该库。可以通过 pip 命令来完成这一操作[^1]。 ```bash pip install vllm ``` #### 加载模型 vLLM 支持从多个来源加载大型语言模型（LLMs）。可以从 Hugging Face Hub 或者本地路径加载预训练好的模型。然而需要注意的是，如果要获取特定于某些框架的适配器，则可能需要先手动下载并保存至本地再进行加载，因为这部分组件并不支持直接由 Hugging Face Hub 提供[^2]。对于来自 Hugging Face 的模型： ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name_or_path = "your-model-name-or-path" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) ``` 当涉及到较大规模的数据集或者其他资源文件时，推荐采用 Git LFS 来管理版本控制之外的大文件存储需求[^4]。这样可以有效减少仓库体积，并提高协作效率。 #### 部署服务端口模拟 OpenAI API 接口为了让基于 vLLM 构建的服务更容易集成进现有依赖于 OpenAI 平台的应用程序当中，可以选择配置成兼容模式运行。这意味着客户端无需修改任何代码就能无缝切换到新的推理引擎之上[^3]。 ```json { "api_key": "dummy_api_key", "base_url": "/openai/deployments/{deployment_id}" } ```