基于Qwen2.5在多框架下的Function Call尝试及总结

已于 2025-03-15 16:49:18 修改
阅读量1.8k 收藏 7
点赞数 10
分类专栏： DeepSeek大模型应用与实战 文章标签： Function Call Qwen2.5 ollama Langchain Qwen-Agent
于 2024-11-13 17:17:27 首次发布
本文为博主原创文章，未经博主允许不得转载，听见没。
本文链接：https://blog.csdn.net/jining11/article/details/143743236
版权

现在不同的大模型推理框架基本都支持对于模型Function Call能力的调用，只是在支持的模型类别、模型的接入方法以及工具的定义方式有所差异。本文主要基于ollama加载的qwen2.5模型以及一套简单通用的工具定义方式，探索如何将其适配不同的框架，实现对工具的准确调用。从结果来看，Langchain-chatchat可以正常调用GPT3.5，但是无法完成qwen2.5的工具调用，Langchain-ollama可以完成qwen2.5的工具调用，但是只调用了两个工具中的一个，而Ollama和Qwen-Agent都可以满分完成工具调用任务。下面是官方指南的一份总结。

在这里插入图片描述

文章目录

🎉进入大模型应用与实战专栏 | &#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ollama function call使用agent案例
weixin_42357472的博客
08-13 444
参考： https://ollama.com/blog/tool-support 运行ollama 0.3.5版本 messages = [{“role”: “user”, “content”: “What’s the time and the weather like now in Hangzhou？”}]
基于Qwen-Agent框架的Function Call及ReAct方式调用自定义工具
羊城迷鹿的博客
11-19 1014
自定义工具比较麻烦，要严格按照下面的格式才可以，否则会提示工具没有注册的错误。description = "两个整数相乘"'description': '第一个整数','description': '第二个整数',],"""两个整数相乘"""description = "两个整数相加"'description': '第一个整数','description': '第二个整数',],"""两个整数相加"""按照以下方式接入Ollama模型的参数设置。
深入解析大语言模型的 Function Call 实现—— 以 Qwen2.5为例
qq_26610239的博客
03-15 2460
通常，大语言模型的输入输出都是字符串，但 Function Call 允许模型在对话过程中识别特定的函数调用需求，并以结构化数据格式返回调用参数。
LLM技术揭秘：Qwen的Function Calling实现解析
m0_65555479的博客
08-19 3896
Function Calling 是一种让 Chat Completion 模型调用外部函数的能力，可以让模型不仅仅根据自身的数据库知识进行回答，而是可以额外挂载一个函数库，然后根据用户提问去函数库检索，按照实际需求调用外部函数并获取函数运行结果，再基于函数运行结果进行回答，或者是通过函数调用来调用工具。Qwen 官方给出的 Function Calling 方法是基于 openai 接口的，这篇文章就从如何利用 Qwen 仿 OpenAI 接口开始写起。
Ollama Qwen2 支持 Function Calling
hawk2014bj的博客
09-06 1594
现在的模型都是支持 Tools，在 Ollama 中使用我们需要对 Template 配置，配置好 Tools 后，就可以通过 Ollama 直接进行函数调用了。
qwen2.5 vllm推理；openai function call调用中文离线agents使用
weixin_42357472的博客
09-19 1786
参考：运行：运行调用tools报错，qwen官方说会尽快修复增加 /ai/template.jinja 文件。
LLM代码实现-Qwen（Function Calling）
m0_65555479的博客
09-04 1607
Function Calling 是一种让 Chat Completion 模型调用外部函数的能力，可以让模型不仅仅根据自身的数据库知识进行回答，而是可以额外挂载一个函数库，然后根据用户提问去函数库检索，按照实际需求调用外部函数并获取函数运行结果，再基于函数运行结果进行回答，或者是通过函数调用来调用工具。Qwen 官方给出的 Function Calling 方法是基于 openai 接口的，这篇文章就从如何利用 Qwen 仿 OpenAI 接口开始写起。
qwen vllm function_call
xnuscd的博客
11-08 4029
vLLM 是一个高效、易于使用的大型语言模型推理和部署库。自vLLM v0.6.0版本起，它支持工具调用（Tools Calling），允许模型在适当情况下自动解析和调用工具。本文将通过使用Qwen2.5模型的示例，介绍如何利用vLLM实现工具调用，并使用OpenAI兼容API与客户端交互。本教程涵盖了使用vLLM API实现Qwen模型的工具调用功能。通过OpenAI兼容API和Hermes风格工具解析，您可以轻松实现Qwen模型在实际场景中的功能扩展和自动工具调用。
Qwen学习笔记2：Qwen模型基于ReAct原理实现function calling
weixin_42118737的博客
05-15 5013
本文继续记录了Qwen模型的function calling功能的实践代码。
Qwen学习笔记1：Qwen模型使用ReAct原理实现function calling，增强模型能力
weixin_42118737的博客
05-15 4642
本文记录使用Qwen模型基于ReAct原理实现的函数调用功能，并附带记录一些代码。
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-降本增效（一）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-15 2万+
将Qwen2.5模型与vLLM框架进行有效整合，通过离线推理为实际项目带来更大的价值。
基于 SGLang 部署 Qwen2.5 7B 模型
最新发布
kakaZhui的博客
03-25 338
LLM 推理通常需要较长的计算时间，导致响应延迟高。由于计算资源有限，LLM 服务难以同时处理大量请求。编写高效的 LLM 服务程序通常需要深入了解底层系统和并行计算。**RadixAttention：**一种新的注意力机制, 通过将key和value张量组织成树状结构（基数树）来实现更有效的内存访问. 从而减少内存占用和计算时间。传统批处理需要等待一批请求都完成后才能开始处理，SGLang 的连续批处理允许新的请求随时加入正在处理的批次中，从而减少等待时间，提高吞吐量。
开源模型应用落地-qwen模型小试-function call（十）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-12 2万+
学习如何使用在qwen1.5-7b-chat模型下，实现Function Call的功能
LLM - Qwen functioncalling 预测与训练
算法小学生
08-03 848
至此，我们已经知道了ReAct的构造方式及function的调度流程。Function的训练数据也同样遵循ReAct模版的构建方式，至于，和chatML模版的配比需要小伙伴自己尝试。5 todo: 插入stopwords，Qwen会在Observation之后出现幻觉，希望在Observation处停止，去调用call。想生成ReAct模版，需要使用openai的接口传入Function，由于vllm部署原因，本文我们自己构建。6.2 根据模型的ReAct输出执行相应的插件调用，并返回调用结果。
qwen function call 提示词模板
awko的博客
05-11 3609
【代码】qwen function call 提示词模板， golang + qwen 快速实现大模型函数调用。
Qwen的FunctionCall模版整理
python_vb的博客
12-12 1062
Qwen的chattemplate一看太复杂了，似乎最开始有tools的说明，assisatant会输出tool call并加入对话，以下给出Qwen官方的一个demo和自己的注释说明。
Langchain中使用Ollama提供的Qwen大模型进行Function Call实现天气查询、网络搜索
python1234567_的博客
06-17 4270
Function Call，或者叫函数调用、工具调用，是大语言模型中比较重要的一项能力，对于扩展大语言模型的能力，或者构建AI Agent，至关重要。
Qwen2.5-7B-Instruct vLLM 部署调用
luoganttcc的博客
12-11 1092
vLLM框架是一个高效的大语言模型vLLMKVvLLMvLLMOpenAIAPIGPUvLLM。
如何微调qwen2.5-coder？
09-25
微调预训练模型Qwen2.5-Coder主要是为了针对特定任务或应用场景提升模型的表现。以下是微调的基本步骤： 1. **准备数据集**：首先需要一个标记好的小规模数据集，它应该包含与目标任务相关的文本样本。 2. **下载预训练模型**：从Qwen2.5-Coder仓库获取模型的源码或者已经预训练的权重文件。 3. **加载模型**：使用合适的框架（如Hugging Face的Transformers库），加载预训练的模型，并选择适当的头（tokenizer和model）进行后续操作。 4. **冻结或解冻层**：通常，微调只涉及模型的最后一层或部分，因为预训练模型的底层一般学习了通用的语言表示，可以保持不变。如果所有层都需要调整，则应解冻它们。 5. **设置优化器和学习率**：选择适合微调任务的学习率策略，比如使用较小的初始值，因为它会更细致地调整模型。 6. **编写训练循环**：定义一个训练函数，将数据输入到模型，计算损失，更新参数，并监控性能指标。 7. **微调过程**：通过迭代地将数据送入模型进行前向传播、反向传播和优化，逐渐调整模型参数，使其适应新的任务。 8. **评估和保存**：定期验证模型在验证集上的性能，当性能达到预期或停止改进时，保存最优模型。 9. **部署**：最后，在测试集上评估微调后的模型，然后将其部署到实际应用中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羊城迷鹿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值