LlamaEdge 支持 tool call！调用外部工具

本文链接：https://blog.csdn.net/m0_59164304/article/details/142422553

工具调用是从未有过的真正“LLM原生”的交互模式之一。它赋予了“思考”的大语言模型“行动”的能力——既能获取新知识，又能执行现实世界的操作。这对任何 agentic app 都至关重要。

开源LLM 在使用工具方面越来越出色。Llama 3 8B 模型让开发者在自己的笔记本电脑上实现可靠的工具调用成为可能！有了它，在Mac上就能用自然语言轻松下达指令完成不同任务，参考在社区月会上的demo⬇️

而本教程中，我们将展示一个简单的Python程序，该程序让本地 LLM 在本地计算机上运行代码和操作数据！

先决条件

按照本教程[1]启动一个 LlamaEdge API 服务器。

第一步：通过以下命令行安装 WasmEdge[2]。

curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh | bash -s -- -v 0.13.5 --ggmlbn=b3259

第二步：下载一个 API server 应用。它是一个可以在多种 CPU 和 GPU 设备上运行的跨平台可移植的 Wasm 应用。

curl -LO https://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-api-server.wasm

第三步：我们需要一个能够调用工具的开源模型。Groq 微调过的Llama 3 8B模型是一个不错的选择。让我们下载模型文件。

curl -LO https://huggingface.co/second-state/Llama-3-Groq-8B-Tool-Use-GGUF/resolve/main/Llama-3-Groq-8B-Tool-Use-Q5_K_M.gguf

然后按照以下方式启动 LlamaEdge API 服务器。

wasmedge --dir .:. \       --nn-preload default:GGML:AUTO:Llama-3-Groq-8B-Tool-Use-Q5_K_M.gguf \       --nn-preload embedding:GGML:AUTO:nomic-embed-text-v1.5.f16.gguf \       llama-api-server.wasm \       --model-alias default,embedding \       --model-name llama-3-groq-8b,nomic-embed \       --prompt-template groq-llama3-tool,embedding \       --batch-size 128,8192 \       --ctx-size 8192,8192

请注意这里的 groq-llama3-tool 提示词模板。它把用户查询和LLM响应，包括工具调用的JSON消息，构造为模型微调遵循的正确格式。

运行 demo agent

Agent app[3] 是用Python 写的。它演示了 LLM 如何使用工具操作SQL数据库。在这种情况下，它启动并操作一个内存中的SQLite数据库。数据库存储待办事项列表。

下载代码，并安装 Python 依赖：

git clone https://github.com/second-state/llm_todo   cd llm_todo   pip install -r requirements.txt

设置我们刚刚设置的 API 服务器和模型名称的环境变量。

export OPENAI_MODEL_NAME="llama-3-groq-8b"   export OPENAI_BASE_URL="http://127.0.0.1:8080/v1"

运行 main.py 应用并调出命令行聊天界面。

python main.py

使用 agent

现在，你可以要求 LLM 执行任务。例如，你可以说

User:    Help me to write down it I'm going to fix a bug

LLM 能够理解你的需求需要在数据库中插入一条记录，并且以 JSON 格式返回工具调用响应。

Assistant:   <tool_call>   {"id": 0, "name": "create_task", "arguments": {"task": "going to fix a bug"}}   </tool_call>

agent app（即 main.py）在 JSON 响应中执行工具调用 create_task，并将结果为 Tool的角色发回。你无需在此处执行任何操作，因为它会在 main.py 中自动发生。agent app 执行工具调用时，SQLite 数据库会更新。

Tool:   [{'result': 'ok'}]

LLM 收到执行结果，然后回答。

Assistant:   I've added "going to fix a bug" to your task list. Is there anything else you'd like to do?

你可以继续对话。了解有关工具调用工作原理的更多信息，请参阅这篇文章[4]。

代码拆解

main.py 脚本是一个很好的示例，可以展示工具调用应用程序的结构。

首先，有一个 Tools JSON 结构，它定义了可用的工具。每个工具都被设计为一个函数，有一个函数名称和一组参数。description 字段尤其重要。它解释了何时以及如何使用该工具。LLM“理解”此描述并使用它来确定是否应使用此工具来响应用户查询。LLM 将在需要时在其工具调用响应中包含这些函数名称。

Tools = [       {           "type": "function",           "function": {               "name": "create_task",               "description": "Create a task",               "parameters": {                   "type": "object",                   "properties": {                       "task": {                           "type": "string",                           "description": "Task's content",                       }                   },               },           },       },       ... ...   ]

然后， eval_tools() 函数将 LLM JSON 响应中的工具函数名称和参数映射到需要执行的实际 Python 函数。

def eval_tools(tools):       result = []       for tool in tools:           fun = tool.function           if fun.name == "create_task":               arguments = json.loads(fun.arguments)               result.append(create_task(arguments["task"]))           ... ...          if len(result) > 0:           print("Tool:")           print(result)          return result

Python 函数按预期执行 CURD 数据库操作。

def create_task(task):       try:           conn.execute("INSERT INTO todo (task, status) VALUES (?, ?)", (task, "todo"))           conn.commit()           return {"result": "ok"}       except Exception as e:           return {"result": "error", "message": str(e)}

使用 JSON 和 Python 中定义的工具调用函数，我们现在可以研究 agent 如何管理对话。用户查询通过 chat_completions 函数发送。

def chat_completions(messages):       stream = Client.chat.completions.create(           model=MODEL_NAME,           messages=messages,           tools=Tools,           stream=True,       )          tool_result = handler_llm_response(messages, stream)       if len(tool_result) > 0:           for result in tool_result:               messages.append({"role": "tool", "content": json.dumps(result)})           return False       else:           return True

当收到响应时，它会调用 handler_llm_response() 来确定 LLM 响应是否需要工具调用。如果不需要工具调用，则只需向用户显示 LLM 响应。

但是，如果 LLM 响应中存在工具调用 JSON 部分，handler_llm_response() 函数负责通过调用关联的 Python 函数来执行它。每个工具调用执行结果都会自动作为带有 Tool 角色的消息发送回 LLM。然后，LLM 将使用这些 tool 结果消息来生成新的响应。

def handler_llm_response(messages, stream):       tools = []       content = ""       print("Assistant:")       for chunk in stream:           if len(chunk.choices) == 0:               break           delta = chunk.choices[0].delta           print(delta.content, end="")           content += delta.content           if len(delta.tool_calls) == 0:               pass           else:               if len(tools) == 0:                   tools = delta.tool_calls               else:                   for i, tool_call in enumerate(delta.tool_calls):                       if tools[i] == None:                           tools[i] = tool_call                       else:                           argument_delta = tool_call["function"]["arguments"]                           tools[i]["function"]["arguments"].extend(argument_delta)       if len(tools) == 0:           messages.append({"role": "assistant", "content": content})       else:           tools_json = [tool.json() for tool in tools]           messages.append(               {"role": "assistant", "content": content, "tool_call": tools_json}           )          print()          return eval_tools(tools)

使其稳健

LLM应用的关键挑战之一是LLM响应通常不可靠。如果

LLM无法生成正确的工具调用响应来回答用户查询。

在这种情况下，你可以调整和微调每个工具调用函数的描述。LLM根据这些描述选择其工具。编写与常见用户查询匹配的描述至关重要。

LLM出现幻觉并生成具有不存在函数名称或错误参数的工具调用。

Agent 应用应捕获此错误并要求LLM重新生成响应。如果LLM无法生成有效的工具调用响应， Agent 可以回答类似视频对不起，Dave，我恐怕办不到啊[5]中，LLM为工具生成了格式错误的JSON结构。

与以上相同。Agent 应捕获并处理错误。

GitHub：https://github.com/WasmEdge/WasmEdge

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述