【LLM大模型】你要的AI Agent工具都在这里

只有让LLM（大模型）学会使用工具，才能做出一系列实用的AI Agent，才能发挥出LLM真正的实力。本篇，我们让AI Agent使用更多的工具，比如：外部搜索、分析CSV、文生图、执行代码等。

1. 使用工具的必要性

LLM（大模型）如果没有使用工具的能力，那就相当于一个有着聪明大脑 但四肢僵硬的 渐冻人，什么事儿也做不了。人类之所以区别于动物，正是因为学会了使用工具。因此，赋予LLM使用工具的能力至关重要。

我们需要 LLM去帮助执行各种任务。而Tool（工具）就是LLM 在执行任务过程中，能够调用的外部能力。比如：需要检索外部资料时，可以调用检索工具；需要执行一段代码时，可以调用自定义函数去执行。

2. LangChain的Tool规范

所有的工具肯定要遵守一套规范，才能让LLM随意调用。为此，LangChain 抽象出一个Tool 层，只要是遵守这套规范的函数就是 Tool 对象，就可以被 LLM调用。

2.1. Tool规范

Tool的规范也简单，只要有三个属性就行：name、description和function。

• name：工具的名称。
• description：对工具的功能描述，后续这个描述文本会添加到Prompt（提示词）中，LLM 将根据description来决定是否调用该工具。
• function：此工具实际运行的函数。

只要遵守这个规范就行，使用形式可以有多种，下文的实践代码会介绍到。

2.2. Agent使用工具的流程

让AI Agent使用工具，需要定义Agent和AgentExecutor。AgentExecutor维护了Tool.name到Tool的Map 结构。

LLM根据Prompt（包含了Tool的描述） 和 用户的问题，判断是否需要调用工具，确定某个工具后，在根据Tool的名称 和 调用参数，到映射Map 中获找Tool实例，找到之后调用Tool实例的function。

3. 如何使用各种Tool

自定义Tool只需要遵守以上规范就可以，下面以几个常用的工具做示例。

下文有些工具用到了toolkits。toolkits是LangChain提供的工具包，旨在简化使用工具的成本，toolkits里提供了丰富的工具，还在不断叠加，大部分的工具都可以在里面找到。

3.1. 外部搜索

使用外部搜索工具。本文使用的是serpapi，serpapi集成了Google、百度等多家搜索引擎，通过api的形式调用，非常方便。

官网地址：https://serpapi.com/。可以自行注册，有一些免费额度。外部搜索工具定义如下：

# 1. 使用@tool装饰器，定义搜索工具
@tool
def search(query: str) -> str:
    """只有在需要了解实时信息 或 不知道的事情的时候 才会使用这个工具，需要传入要搜索的内容。"""
    serp = SerpAPIWrapper()
    result = serp.run(query)
    return result

3.2. 文生图

文生图工具是使用LangChain社区提供的DallEAPIWrapper类，本文使用OpenAI的图片生成模型Dall-E-3，具体代码如下：

# 2. 使用Tool工具类，定义图片生成工具
dalle_image_generator = Tool(
    name="基于OpenAI Dall-E-3的图片生成器",
    func=DallEAPIWrapper(model="dall-e-3").run,
    description="OpenAI DALL-E API 的包装器。当你需要根据 描述的文本 生成图像时 使用此工具，需要传入 对于图像的描述。",
)

这里的DallEAPIWrapper(model="dall-e-3").run方法就是个函数，实际是去调用了OpenAI的接口。

3.3. 代码执行器

代码执行器工具，可以执行代码 或者 根据自然语言生成代码。主要使用LangChain提供的PythonREPLTool 和 LangChain提供的toolkits。

比如create_python_agent就简化了创建Python解释器工具的过程。代码如下：

# 3. 使用toolkit，定义执行Python代码工具
python_agent_executor = create_python_agent(
    llm=model,
    tool=PythonREPLTool(),
    verbose=True,
    agent_executor_kwargs={"handle_parsing_errors": True},
)

3.4. 分析CSV

CSV工具，用来分析csv文件。依旧是使用toolkits工具包里的create_csv_agent函数快出创建工具。代码如下：

# 4. 使用toolkit，定义分析CSV文件工具
csv_agent_executor = create_csv_agent(
    llm=model,
    path="course_price.csv",
    verbose=True,
    agent_executor_kwargs={"handle_parsing_errors": True},
    allow_dangerous_code=True,
)

3.5. 完整代码

上面介绍了AI Agent的常用工具，定义好工具之后，在把工具放入到工具集中，最后在定义Agent 和 AgentExecutor就算完成了。短短几十行代码，就可以让LLM使用这么多工具了。

完整代码如下：

import os
from langchain import hub
from langchain_openai import ChatOpenAI
from langchain.agents import create_structured_chat_agent, AgentExecutor, Tool
from langchain.tools import BaseTool, StructuredTool, tool
from langchain_experimental.agents.agent_toolkits import (
    create_python_agent,
    create_csv_agent,
)
from langchain_community.utilities import SerpAPIWrapper
from langchain_experimental.tools import PythonREPLTool
from langchain_community.utilities.dalle_image_generator import DallEAPIWrapper

# 需要先安装serpapi, pip install serpapi, 还需要到 https://serpapi.com/ 去注册账号

# SERPAPI_API_KEY 和 OPENAI 相关密钥，注册到环境变量
os.environ["SERPAPI_API_KEY"] = (
    "9dd2b2ee429ed996c75c1daf7412df16336axxxxxxxxxxxxxxx"
)
os.environ["OPENAI_API_KEY"] = "sk-a3rrW46OOxLBv9hdfQPBKFZtY7xxxxxxxxxxxxxxxx"
os.environ["OPENAI_API_BASE"] = "https://api.302.ai/v1"

model = ChatOpenAI(model_name="gpt-3.5-turbo")


# 基于reAct机制的Prompt模板
prompt = hub.pull("hwchase17/structured-chat-agent")



# 各种方式定义工具

# 1. 使用@tool装饰器，定义搜索工具
@tool
def search(query: str) -> str:
    """只有在需要了解实时信息 或 不知道的事情的时候 才会使用这个工具，需要传入要搜索的内容。"""
    serp = SerpAPIWrapper()
    result = serp.run(query)
    return result


# 2. 使用Tool工具类，定义图片生成工具
dalle_image_generator = Tool(
    name="基于OpenAI Dall-E-3的图片生成器",
    func=DallEAPIWrapper(model="dall-e-3").run,
    description="OpenAI DALL-E API 的包装器。当你需要根据 描述的文本 生成图像时 使用此工具，需要传入 对于图像的描述。",
)

# 3. 使用toolkit，定义执行Python代码工具
python_agent_executor = create_python_agent(
    llm=model,
    tool=PythonREPLTool(),
    verbose=True,
    agent_executor_kwargs={"handle_parsing_errors": True},
)

# 4. 使用toolkit，定义分析CSV文件工具
csv_agent_executor = create_csv_agent(
    llm=model,
    path="course_price.csv",
    verbose=True,
    agent_executor_kwargs={"handle_parsing_errors": True},
    allow_dangerous_code=True,
)

# 定义工具集合
tool_list = [
    search,
    dalle_image_generator,
    Tool(
        name="Python代码工具",
        description="""
        当你需要借助Python解释器时，使用这个工具。
        比如当你需要执行python代码时，
        或者，当你想根据自然语言的描述生成对应的代码时，让它生成Python代码，并返回代码执行的结果。
        """,
        func=python_agent_executor.invoke,
    ),
    Tool(
        name="CSV分析工具",
        description="""
        当你需要回答有关course_price.csv文件的问题时，使用这个工具。
        它接受完整的问题作为输入，在使用Pandas库计算后，返回答案。
        """,
        func=csv_agent_executor.invoke,
    ),
]


# 将工具丢给Agent
agent = create_structured_chat_agent(
    llm=model,
    tools=tool_list,
    prompt=prompt
)

# 定义AgentExecutor
agent_executor = AgentExecutor.from_agent_and_tools(
    agent=agent, 
    tools=tool_list, 
    verbose=True, # 打印详细的 选择工具的过程 和 reAct的分析过程
    handle_parsing_errors=True
)



# 不会使用工具
agent_executor.invoke({"input": "你是谁？"})

# 使用查询工具
# agent_executor.invoke({"input": "南京今天的温度是多少摄氏度？现在外面下雨吗？"})

# 使用Python代码工具
# agent_executor.invoke(
#     {
#         "input": """
#         帮我执行```号里的python代码，
        
#         ```python
            
#             def add(a,b):
#                 return a+b
            
#             print("hello world : ", add(100,200))
#         ```
#         """
#     }
# )

# 使用图片生成工具
# agent_executor.invoke(
#     {
#         "input": "帮我生成一副图片，图片描述如下：一个非常忙碌的中国高中生在准备中国的高考，夜已经很深了，旁边他的妈妈一边看书一边在陪伴他，窗外是模糊的霓虹灯。"
#     }
# )

# 使用CSV分析工具
# agent_executor.invoke({"input": "course_price数据集里，一共有哪几个城市？用中文回答"})

一起看下使用工具后，reAct的整个过程。

以上代码经过完整调试，更换下openai和serpapi的密钥即可直接运行，如果遇到问题可以关注公众号给我留言。

4. 总结

本文主要聊了AI Agent的工具规范，以及常用工具。AI Agent只有借助工具才能发挥威力。

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓