Llama3.1的工具调用解析及上手使用示例

Hello，大家好！今天我们来聊聊Meta最新发布的Llama 3.1系列模型中的新功能 —— 工具调用能力。这个功能不仅仅是Llama3.1独有，最近发布的Mistral NeMo和Mistral Lager2也都已经支持了工具调用能力。我觉得其本质还是为了减少LLM的”幻觉“现象。

---

定义

Llama3.1工具调用

简单来说，工具调用允许大语言模型（LLM）在对话过程中直接使用预定义的工具，就像我们使用各种App一样。这大大扩展了AI的能力范围，使它能够更好地解决实际问题。

• Llama 3.1内置了三种特定工具：Brave Search、Wolfram Alpha和Code Interpreter。

• 这些工具直接集成在模型中，很重要一点，搜索引擎的API还是需要的。

• 工具调用是模型训练的一部分，模型知道如何和何时使用这些工具。

Llama 3.1的内置工具

Llama 3.1内置了三种强大的工具:

1. Brave Search: 用于网络搜索，让AI能获取最新信息，这里指的网络搜索并不是直接在网上搜索信息，而是需要通过搜索引擎的API接口才能进行网络搜索。

2. Wolfram Alpha: 用于复杂数学计算，提升AI的数学能力。

3. Code Interpreter: 允许AI直接输出和执行Python代码。

这些工具使Llama 3.1能够执行从信息查询到数学计算,再到编程任务的广泛操作。

Llama 3.1的工具调用的工作原理

工具调用的工作流程大致如下:

1. 用户交互:

• 1.1: 用户向执行器(Executor)发送提示(Prompt)。

• 1.2: 执行器最终将响应(Response)返回给用户。

3. 执行器与Llama模型的交互:

• 2.1: 执行器将用户的提示传递给Llama模型。

• 2.2: Llama模型生成包含工具调用的响应。

5. 执行器与工具的交互:

• 3.1: 执行器根据Llama模型的响应调用相应的工具。

• 3.2: 工具执行后返回结果给执行器。

7. 执行器再次与Llama模型交互:

• 4.1: 执行器将原始提示和工具调用结果一起发送给Llama模型。

• 4.2: Llama模型生成最终的综合响应。

这张图就是一个完整的工具调用循环，从用户输入到最终输出，包括了Llama3.1模型的决策过程、工具的调用，以及如何将工具的结果整合到最终响应中。这种设计允许Llama3.1模型利用其内置的工具来增强能力，能够快速、精准地回答用户的问题，减少”幻觉“现象。

举一个例子：

我们先拟人化三个角色，你（用户），你的天才朋友（Llama3.1），你的小助手（Executor）

1. 你问一个问题，比如：今朝上海天气哪能讲？

2. 小助手把问题转交给你的天才朋友，你的小助手说：有则赤佬问上海天气情况。

3. 天才朋友思考后决定需要查看天气预报，他说：阿拉得查查天气预报App。

4. 小助手去查天气预报App（这就是调用工具）打开APP查上海天气。

5. 小助手把上海天气信息告诉天才朋友，他说：今朝上海天气哈捏有36度，伐落雨。

6. 天才朋友结合这条信息给出完整回答”根据天气预报App，今天上海是个晴朗得好天气，温度36度，适合待在家里吹空调。“

7. 小助手把这个回答告诉你（用户）。

所以，通过这种方式，大语言模型给到用户得回答即高效又精准。

---

参数说明

我们结合Meta的官方文档（建议刚开始玩llama系列模型的小伙伴还是先去看一下原文档），提取一些比较重要的内容和参数拎出来讲一讲。

这次的提示词格式有所变动，尤其是角色方面分别是：

system ：设置与 AI 模型交互的上下文。它通常包括帮助模型有效响应的规则、准则或必要信息。

user ： 表示与模型交互的人类。它包括模型的输入、命令和问题。

ipython ： Llama 3.1 中引入的新角色。从语义上讲，这个角色的意思是“工具”。此角色用于在从执行器发送回模型时，使用工具调用的输出标记消息。

assistant ： 表示 AI 模型根据 ‘system’、’ipython’ 和 ‘user’ 提示中提供的上下文生成的响应。

Python示例如下：

Environment 这里的环境定义为：

• ipython：我理解就是代码解释器

Tools 这里的工具定义为：

• brave_search：网络搜索

• wolfram_alpha：数学计算器

---

示例说明

我们用下面这段脚本来试试最新的Llama3.1的网络搜索能力，以下是一些前置条件：

• 安装Python语言

• Ollama框架已安装；

• Llama3.1系列模型已下载；

• Python的requests库已安装；

• 搜索引擎的API已开通；
  所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

推荐：Google、Bing、DuckDuckGo，相关链接都在文尾

以下示例在Windows环境下运行：

1. 导入必要的库：

• json: 用于处理JSON数据

• requests: 用于发送HTTP请求

• re: 用于正则表达式操作

2. Bing API 设置：这里不一定要使用bing，各大搜索引擎都可以，只要是开放API的

这里设置了Bing搜索API的密钥和接口地址。

3. call_ollama 函数:

这个函数用于调用Llama 3.1模型。它向本地运行的Ollama服务发送请求,获取AI的回应。

4. brave_search 函数:

这个函数实际上使用Bing API进行搜索。它发送搜索请求并处理结果,返回前三个搜索结果的摘要。

5. process_model_output 函数:
   

这个函数用正则表达式从AI的回应中提取搜索查询，它能处理不同格式的函数调用，经过验证效果并不好，同时我也没太多时间在这里做优化，有兴趣的小伙伴可以尝试不同函数。

6. main 函数:

7. 系统提示:

这里的system_prompt还是蛮重要的，在使用8B尺寸的模型时尽量简单些，70B以上可以复杂一些。

8. 主循环:

• 接受用户输入

• 调用AI获取回应

• 如果AI要搜索，就执行搜索

• 将搜索结果给AI，获取最终回答

9. 脚本入口:

这篇示例可以在IDE内修改，比如：vscode，PyCharm

---

使用示例

1. 首先，我们得创建一个空的文件夹（随便命名），在该文件夹内创建一个空的文件，把以上这段示例代码复制到一个空的文件里，txt文件也是可以的，但是文件保存要把文件格式改成*.py；

2. 接着，我们在该文件夹下“右击”再“点击”在终端中打开；

3. 在保证前置条件都已安装完成的情况下，输入

 python search.py

这条命令开始执行该脚本；

4. 输入问题，比如：请总结下kunpuai.com这个网站；

5. 这是Llama3.1 8B总结的效果，由于在brave_search 变量里设置了3，所以会有3条结果。

好了，以上便是这次网络搜索工具的示例，8b的模型推理非常流畅，但是推理结果却显得很一般，可以尝试更大尺寸的模型。欢迎小伙伴尝试，不过讲老实话，Bing的搜索引擎API开通还是比较麻烦的。有经验的小伙伴我们可以交流交流，有没有更好的办法。

Google搜索引擎：

https://serpapi.com/

duckduckgo搜索引擎：

https://duckduckgo.com/

Bing搜索引擎：

https://azure.microsoft.com/services/cognitive-services/bing-web-search-api/

Brave搜索引擎：

https://api.search.brave.com/

Meta文档：

https://llama.meta.com/docs/model-cards-and-prompt-formats/llama3_1

---

重要：因为微信最近又改了推送机制，有小伙伴说没看到最近发的文章。恢复方法：点击→ “右上方的三个点” → “原子社” → “右上方的三个点” → “设为星标”，这样就能第一时间收到推送，以免失联哦~

原子集服务号集成了最新的AI小助手，小助手的主要功能是搜索总结国内国外热点新闻，后期将加入用自然语言交流画图，欢迎小伙伴们体验（免费）！

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓