vllm 支持QwQ工具调用的设定

已于 2025-03-24 09:26:35 修改
阅读量812 收藏 2
点赞数 2
文章标签： agent vllm toolcalling LLM
于 2025-03-23 10:33:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenxin0215/article/details/146452762
版权

vllm安装使用的帖子已经很多了，本文主要记录下，vllm 支持tool calling 时的部署设定；

本人vllm版本为0.7.1

有两个启动选项需添加：

--enable-auto-tool-choice    mandatory Auto tool choice. tells vLLM that you want to enable the model to generate its own tool calls when it deems appropriate. 开启vllm支持函数调用功能。

--tool-call-parser    select the tool parser to use (listed below). Additional tool parsers will continue to be added in the future, and also can register your own tool parsers in the --tool-parser-plugin.  选择tool-call 的转换器，

vllm 推荐 对于qwen2.5 以及 QwQ系列，启动选项配置为   “--tool-call-parser hermes” 

vLLM专题（十一）-工具调用(Tool Calling)
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
02-24 649
vLLM 目前支持命名函数调用，以及在聊天补全 API 的字段中支持auto和none选项。选项中的required尚未支持，但已在计划中。
5分钟在本地PC上使用VLLM快速启动Mistral-Small-24B-Instruct-2501
engchina的专栏
02-02 1284
5分钟在本地PC上使用VLLM快速启动Mistral-Small-24B-Instruct-2501
qwen vllm function_call
xnuscd的博客
11-08 4309
vLLM 是一个高效、易于使用的大型语言模型推理和部署库。自vLLM v0.6.0版本起，它支持工具调用（Tools Calling），允许模型在适当情况下自动解析和调用工具。本文将通过使用Qwen2.5模型的示例，介绍如何利用vLLM实现工具调用，并使用OpenAI兼容API与客户端交互。本教程涵盖了使用vLLM API实现Qwen模型的工具调用功能。通过OpenAI兼容API和Hermes风格工具解析，您可以轻松实现Qwen模型在实际场景中的功能扩展和自动工具调用。
vllm部署QwQ32B(满精度)
hbkybkzw的博客
03-24 1998
Ollama是一个轻量级的开源LLM推理框架，注重简单易用和本地部署，而VLLM是一个专注于高效推理的开源大型语言模型推理引擎，适合开发者在实际应用中集成和使用。两者的主要区别在于Ollama更注重为用户提供多种模型选择和易用性，而VLLM更注重模型推理性能的优化。所以VLLM更适合企业级的高并发需求。vllm的github地址QwQ32B硬件要求Q4_K_M量化，大概需要22G左右够用，一张3090或者4090即可，魔改2080ti 的 22G 显存差不多够用。
AI全知道-如何利用LLM来调用工具 (Call Tools)
qq_43305605的博客
08-06 1721
工具调用是指通过语言模型生成的参数来触发外部工具的执行。这些工具可以是计算程序、数据库查询、API请求等。尽管工具调用这个名称暗示模型直接执行某些操作，但实际上，模型只是生成工具所需的参数，真正的工具执行仍然由用户或系统来完成。city=北京&date=2024-08-06我们需要定义几个API接口，例如查询订单状态、产品信息等。
简单使用vllm
make_progress的博客
10-22 1989
vLLM是一个快速且易于使用的LLM推理和服务库。它支持分布式部署、容器化部署和OpenAI的数据格式等，并且内置了大模型服务，可以直接用命令启动。vllm与Ollama有一定的区别，Ollama适合个人和小服务，vllm适合企业和提供服务，vllm的性能较高，并且并发性也较好。vLLM是一个Python库，它包含预编译的C++和CUDA（12.1）二进制文件，因此需要有GPU支持。
vllm部署QwQ32B(Q4_K_M)
hbkybkzw的博客
03-17 2160
Ollama是一个轻量级的开源LLM推理框架，注重简单易用和本地部署，而VLLM是一个专注于高效推理的开源大型语言模型推理引擎，适合开发者在实际应用中集成和使用。两者的主要区别在于Ollama更注重为用户提供多种模型选择和易用性，而VLLM更注重模型推理性能的优化。所以VLLM更适合企业级的高并发需求。vllm的github地址QwQ32B硬件要求Q4_K_M量化，大概需要22G左右够用，一张3090或者4090即可，魔改2080ti 的 22G 显存差不多够用。
使用vllm部署大语言模型
yuanlulu的博客
07-08 4468
vLLM是一个快速且易于使用的库，用于LLM（大型语言模型）推理和服务。通过PagedAttention技术，vLLM可以有效地管理注意力键和值内存，降低内存占用和提高计算效率。vLLM能够将多个传入的请求进行连续批处理，从而提高整体处理速度。
使用 vLLM 部署本地 LLM 指南
热门推荐
spicy_chicken123的博客
01-24 3万+
我们输入以下命令启动服务器，–model 为本地模型的路径，–served-model-name 是模型在服务器中的别名，这里我们取简称 openchat，其他都是默认值，当然也可以自己设置。在这里我们不演示了，直接将 vLLM 部署为模仿 OpenAI API 协议的服务器，这使得 vLLM 可以用作使用 OpenAI API 的应用程序的直接替代品。当然，你也可以试一试 ChatCompletions 格式的请求，ChatCompletions API 的请求内容如下，两种的格式还是有一些区别的。
使用vllm部署自己的大模型
刘炫320的博客
04-26 2万+
使用vllm能够部署一个非常方便使用的大模型的后端，供webui前端使用，它不仅能够加速模型的推理过程，包括支持fast-attn库，而且还具有很友好的openai风格的api调用功能。
vllm 启动qwq-32B
03-08
### 启动 vLLM 模型 QwQ-32B 要启动 vLLM 模型 QwQ-32B，可以按照以下步骤操作： #### 准备环境 确保已经安装了必要的依赖库。可以通过 pip 安装这些包： ```bash pip install transformers torch accelerate ``` ...
vllm 运行 qwq-32b
03-12
好的，我现在需要帮助用户解决如何使用vLLM运行QwQ-32B模型的问题。首先，我需要确认用户提到的模型名称是否正确。用户写的是“qwq-32b”，但根据提供的引用，正确的模型名称应该是Qwen2.5-Coder-32B-Instruct，可能...
vllm部署qwq-32b模型
03-20
启动服务时，使用vllm的命令行工具，指定模型路径、tensor并行数等参数。如果遇到不输出的问题，引用[3]的解决方法是修改tokenizer配置文件，删除相关token，这需要用户找到对应的json文件进行调整。 还需要考虑...
vllm部署QWQ大模型
03-15
当所有必要的组件都已准备完毕之后，可以通过调用 `vllm.entrypoints.openai.api_server` 模块启动 HTTP RESTful 接口监听器实例。下面是一个典型的例子展示如何设置参数选项以适配特定硬件资源条件下的高性能推理...
vllm qwq
03-08
为了更好地理解如何在特定计算环境下应用vLLM工具集，下面给出一段简单的Python脚本示例，演示了怎样加载预训练好的Vicuna-7B-V1.3模型并执行一次预测操作： ```python from transformers import AutoTokenizer, ...
工具调用 (tool_calling)
weixin_52002907的博客
11-20 1292
工具调用：模型可以决定是否使用工具并确保其响应符合工具的输入模式。question] 使用模型的工具调用过程中遇到的一些问题。工具绑定：工具需要连接到支持工具调用的模型。创建工具：通过@tool 装饰器创建工具。
Error code: 400 ‘“auto” tool choice requires --enable-auto-tool-choice and --tool-call-parser
qq_42869979的博客
03-13 1197
解决报错Error code: 400 - {'object': 'error', 'message': '"auto" tool choice requires --enable-auto-tool-choice and --tool-call-parser to be set', 'type': 'BadRequestError', 'param': None, 'code': 400}
如何使用自定义工具调用解析器构建OpenAI代理
ppoojjj的博客
07-22 514
有时，OpenAI工具调用不是有效的JSON。当定义自己的工具调用解析器时，你需要定义一个函数，该函数接收一个并返回一个字典。该字典将作为工具函数的**kwargs传递。import rer"""解析不是标准JSON的工具调用。
qwq 没有调用 function call
最新发布
03-27
<think>好的，我现在需要回答用户关于“qwq 没有调用 function call”的问题。首先，用户可能遇到了在使用某个编程语言或框架时出现的错误或意外行为，特别是提示中没有调用函数的情况。我需要分析可能的情况，并给出逐步的解决方案。 首先，“qwq”可能是一个变量、函数名，或者是用户输入的某种代码片段。而“没有调用 function call”可能意味着用户预期某个函数被调用，但实际并未执行。需要分情况讨论： 1. **拼写错误或语法问题**：用户可能想调用一个函数，比如`qwq()`，但写成了`qwq`，缺少括号导致函数没有被调用。这时候需要检查语法是否正确。 2. **函数未正确定义**：如果`qwq`是用户自定义函数，可能函数没有被正确定义，导致调用失败。需要确认函数是否在调用前定义，作用域是否正确。 3. **回调函数或事件监听问题**：在异步编程或事件驱动环境中，可能函数被作为回调但没有正确绑定，比如忘记添加事件监听器或回调未触发。 4. **作用域或上下文问题**：函数可能在错误的上下文中被调用，导致`this`指向问题，尤其在JavaScript中常见。 5. **条件判断或逻辑错误**：函数调用可能被条件语句包裹，条件不满足导致未执行。需要检查相关逻辑。 6. **第三方库或框架的特殊要求**：某些框架可能需要特定的方式调用函数，比如Vue中的方法需要放在`methods`对象里，或者React中的函数需要绑定`this`。 接下来，我需要组织回答的结构，先解释可能的原因，再给出解决步骤，最后举例说明。确保使用中文，行内公式正确，结构清晰。 需要注意的是，用户的问题比较模糊，可能需要更多的上下文才能准确诊断，但基于现有信息，尽可能覆盖常见情况。同时，要避免技术术语过于复杂，保持易懂。</think>关于“qwq 没有调用 function call”的问题，可能是代码中函数未按预期执行导致的。以下是逐步排查和解决的思路： --- ### 一、基础检查：语法与拼写 1. **检查函数调用格式** 若 `qwq` 是自定义函数，调用时需添加括号： ```javascript function qwq() { console.log("执行"); } qwq(); // 正确调用（有括号） qwq; // 错误：仅引用函数对象，未触发执行 ``` 2. **检查函数名拼写** 确保函数定义与调用时名称完全一致（区分大小写）： ```python def QwQ(): # 定义的是 QwQ print("执行") qwq() # 调用错误（正确应为 QwQ()） ``` --- ### 二、作用域与定义问题 3. **确认函数已正确定义** 函数需在调用前定义（尤其注意异步加载场景）： ```javascript // 错误示例：函数未定义直接调用 qwq(); // ReferenceError: qwq is not defined function qwq() { /* ... */ } ``` 4. **检查作用域限制** 函数若定义在局部作用域（如其他函数内部），外部无法直接调用： ```javascript function outer() { function qwq() { /* ... */ } } qwq(); // 错误：qwq 仅在 outer 内部可见 ``` --- ### 三、回调与事件绑定问题 5. **回调函数未正确绑定** 在异步操作或事件监听中，需显式传递函数引用（而非调用结果）： ```javascript // 错误示例：立即执行了函数，而非传递函数对象 button.addEventListener("click", qwq()); // qwq() 会立即执行 // 正确做法：传递函数名（无括号） button.addEventListener("click", qwq); ``` 6. **验证事件是否触发** 检查相关事件（如点击、网络请求完成）是否按预期触发。 --- ### 四、逻辑与条件问题 7. **检查条件分支** 函数调用可能被包裹在条件语句中，需确保条件为真： ```python if False: qwq() # 永远不会执行 ``` 8. **调试输出** 在函数内部添加日志，确认是否进入函数： ```javascript function qwq() { console.log("进入函数"); // 查看控制台是否有输出 } ``` --- ### 五、框架/库的特殊要求 9. **框架上下文绑定** 在 React/Vue 等框架中，确保方法已绑定到组件实例： ```javascript // React 类组件中需绑定 this class MyComponent extends React.Component { constructor() { super(); this.qwq = this.qwq.bind(this); } qwq() { /* ... */ } } ``` 10. **检查生命周期钩子** 某些框架要求函数在特定生命周期调用（如 `mounted` 后）。 --- ### 六、示例修正 **错误代码**： ```javascript function qwq() { console.log("Hello"); } // 忘记添加括号，函数未执行 qwq; ``` **修正后**： ```javascript function qwq() { console.log("Hello"); } qwq(); // 输出：Hello ``` --- 若问题仍未解决，请提供更多代码上下文或报错信息，以便进一步分析！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

chenxin0215

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值