聊聊通义千问实验室多agent框架——qwen-agent的函数调用功能及实践

大靠山

于 2024-10-15 20:30:52 发布

阅读量625

点赞数 23

文章标签：人工智能 dubbo java 前端语言模型

本文链接：https://blog.csdn.net/m0_59235245/article/details/142963785

版权

概述

Qwen-Agent[1]是一个开发框架。开发者可基于本框架开发Agent应用，充分利用基于通义千问模型（Qwen）的指令遵循、工具使用、规划、记忆能力。本项目也提供了浏览器助手、代码解释器、自定义助手等示例应用。

qwen-agent提供了完备的函数调用功能（function call & tools），在文档： Tool介绍[2] 中讲的蛮清楚。本文结合文档及实际的示例讲述函数调用的应用。

调用

qwen-agent自身提供了多种已封装好的tools，可以直接调用。如下所示：

功能	类名
天气调用	AmapWeather
代码调用	CodeInterpreter
图像生成	ImageGen
文档检索	Retrieval
存储调用	Storage

代码实现：qwen-agent tools[3]

因此完全可以参考官方的实现，做我们自己的tools。

调用代码：

from qwen_agent.tools import AmapWeather, CodeInterpreter, ImageGen, Retrieval, Storage      # [NOTE] 不带“市”会出错   @pytest.mark.parametrize('params', [json.dumps({'location': '北京市'}), {'location': '杭州市'}])   def test_amap_weather(params):       tool = AmapWeather()       tool.call(params)

开发

unsetunsetBaseToolunsetunset

按照官方文档的做法，可以基于@register_tool来做，也可以不基于这种方式，但前者有个问题就是，如果将tool代码与业务代码放在一起的话，第一次运行后，第二次在运行就会报错如下：

ValueError: Tool my_image_gen already exists! Please ensure that the tool name is unique.

这是因为@register_tool第一次运行就会存下来了，第二次在运行就会重复注册，导致报错。

因此，建议用另一种方式，代码如下：

`import pprint   import urllib.parse   import json5   from qwen_agent.agents import Assistant   from qwen_agent.tools.base import BaseTool, register_tool         # 步骤 1（可选）：添加一个名为 `my_image_gen` 的自定义工具。   class MyImageGen(BaseTool):       # 注意这里       name = 'my_image_gen'       # `description` 用于告诉智能体该工具的功能。       description = 'AI 绘画（图像生成）服务，输入文本描述，返回基于文本信息绘制的图像 URL。'       # `parameters` 告诉智能体该工具有哪些输入参数。       parameters = [{           'name': 'prompt',           'type': 'string',           'description': '期望的图像内容的详细描述',           'required': True       }]          def call(self, params: str, **kwargs) -> str:           # `params` 是由 LLM 智能体生成的参数。           prompt = json5.loads(params)['prompt']           prompt = urllib.parse.quote(prompt)           tmp = {"animals":"dog"}           return json5.dumps(               tmp,               ensure_ascii=False)         # 步骤 2：配置您所使用的 LLM。   llm_cfg = {       # 使用与 OpenAI API 兼容的模型服务，例如 vLLM 或 Ollama：       'model': 'qwen2_7b_instruct',       'model_server': 'http://127.0.0.1:6006/v1',  # base_url，也称为 api_base       'api_key': 'EMPTY',          # （可选） LLM 的超参数：       'generate_cfg': {           'top_p': 0.8       }   }      # 步骤 3：创建一个智能体。这里我们以 `Assistant` 智能体为例，它能够使用工具并读取文件。   system_instruction = '''你是一个乐于助人的AI助手。   在收到用户的请求后，你应该：   - 首先绘制一幅图像，得到图像的url，   - 然后运行代码`request.get`以下载该图像的url，   - 最后从给定的文档中选择一个图像操作进行图像处理。   用 `plt.show()` 展示图像。   你总是用中文回复用户。'''   tools = [MyImageGen(), 'code_interpreter']  # `code_interpreter` 是框架自带的工具，用于执行代码。   # 用这种方式也行： tools = [MyImageGen.name, 'code_interpreter']  # `code_interpreter` 是框架自带的工具，用于执行代码。   files = ['/home/IPT_Data/专业语料-IPT知识/aaa.pdf']  # 给智能体一个 PDF 文件阅读。   bot = Assistant(llm=llm_cfg,                   system_message=system_instruction,                   function_list=tools,                   files=files)      # 步骤 4：作为聊天机器人运行智能体。   messages = []  # 这里储存聊天历史。   while True:       # 例如，输入请求 "绘制一只狗并将其旋转 90 度"。       query = input('用户请求: ')       # 将用户请求添加到聊天历史。       messages.append({'role': 'user', 'content': query})       response = []       for response in bot.run(messages=messages):           # 流式输出。           print('机器人回应:')           pprint.pprint(response, indent=2)       # 将机器人的回应添加到聊天历史。       messages.extend(response)      `

主要是两个地方需要注意，在BaseTool的子类中，增加name属性，在调用是改为XXXX()。

unsetunsetfunctionsunsetunset

这种方式比较原生，即手动定义好function的签名等信息，然后传参进去，代码如下：

import json   import os      from qwen_agent.llm import get_chat_model      def get_current_weather(location, unit='fahrenheit'):       """Get the current weather in a given location"""       if 'tokyo' in location.lower():           return json.dumps({'location': 'Tokyo', 'temperature': '10', 'unit': 'celsius'})       elif 'san francisco' in location.lower():           return json.dumps({'location': 'San Francisco', 'temperature': '72', 'unit': 'fahrenheit'})       elif 'paris' in location.lower():           return json.dumps({'location': 'Paris', 'temperature': '22', 'unit': 'celsius'})       else:           return json.dumps({'location': location, 'temperature': 'unknown'})      llm = get_chat_model({       # 使用与 OpenAI API 兼容的模型服务，例如 vLLM 或 Ollama：       'model': 'qwen2_7b_instruct',       'model_server': 'http://127.0.0.1:6006/v1',  # base_url，也称为 api_base       'api_key': 'EMPTY',          # （可选） LLM 的超参数：       'generate_cfg': {           'top_p': 0.8       }   })      messages = [{'role': 'user', 'content': "What's the weather like in San Francisco?"}]   functions = [{       'name': 'get_current_weather',       'description': 'Get the current weather in a given location',       'parameters': {           'type': 'object',           'properties': {               'location': {                   'type': 'string',                   'description': 'The city and state, e.g. San Francisco, CA',               },               'unit': {                   'type': 'string',                   'enum': ['celsius', 'fahrenheit']               },           },           'required': ['location'],       },   }]      print('# Assistant Response 1:')      responses = []   for responses in llm.chat(           messages=messages,           functions=functions,           stream=True,   ):       print(responses)      messages.extend(responses)  # extend conversation with assistant's reply   print(len(messages))      last_response = messages[-1]   print(last_response)

小结

从实际的使用来看，qwen-agent的tool支持还是可以的，而且非常方便，自定义程度高，方便上手。当然如果有其他的需求可以在审视下，常规常用的需求是可以支持到位的，而且参考性很强。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述