langchian入门四:LLM+Agents代理=贾维斯?让大模型拥有三头六臂

已于 2024-06-06 15:48:53 修改
阅读量909 收藏 22
点赞数 20
文章标签： langchain 语言模型 prompt llama 人工智能
于 2024-05-21 08:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Langchain/article/details/139060062
版权

什么是Agent

在日常生活中,不难发现,chatgpt通过文本输入进行处理后返回的也是文本内容,就像是一个只有头的人,能听能思考能说话,但是无法行动.而Agent是一种能够自主决策、采取行动以达到某种目标的实体。被解释为"智能体"或者"代理".

代理的核心思想是通过大模型来选择要采取的一系列行动.在常规结构下,一系列行动都是硬编码,是已规定好的行为路线,而在代理中,是用大模型作为推理引擎来确定并采取行动的.通俗的讲就是给大模型配备工具,让大模型自己去判断在当前场景需要使用什么工具.

代理的效果与模型的智慧程度有关,大模型的训练集越大,代理的效果越好,差的模型进行代理会陷入某一个自问自答而死循环,好的模型会进行自我验证,验证这个答案是否与最初的问题相关,不相关进行修正.

举个例子:

链式结构下,我会拿着螺丝刀去拧螺丝,拿着钥匙开锁,拿着斧头砍木头.我不会选择工具,而是按照规划的路线行动.

代理情况下,我有螺丝刀,钥匙,斧头等工具,我遇到了一颗螺丝,我会用螺丝刀去拧螺丝. 遇到了一把锁,我会用钥匙去开锁,遇到了木头,我会用斧头去砍木头.在不同的场景或者问题下会进行推理选择.

总而言之:Agent= LLM（思考决策）+ memory（记忆）+ tools(执行)

langchain中代理的关键组成

  • Agent代理
  • llm大模型
  • Tool工具
  • prompt提示词
  • Toolkit工具包
  • AgentExecutor代理执行器

这里使用的是openai的大模型,想要白嫖阿里云的通义千问大模型,还不会prompt提示词以及记忆组件memory的请移步传送门

传送门:

代理的类型

  • Zero-shot ReAct:利用工具的描述来决定使用哪个工具，可以有多个工具，每个工具都要提供描述信息。选择单纯依靠描述信息
  • Structured Input ReAct：通过工具的参数schema创建结构化的动作输入
  • Open AI Functions:与openai function call机制配合工作
  • Conversational：为对话场景设计，使用具有对话性提示词，利用ReAct框架选择工具，并利用记忆功能来保存对话历史
  • Self ask with seach：利用工具查找事实性答案

Tool

代理调用的功能，相当于手的部分，与外部世界交互 ,LangChain 提供了一系列工具，比如 Search 工具，AWS 工具，Wikipedia 工具等。这些工具都是 BaseTool 的子类。通过调用 run 函数，执行工具的功能。

如何创建工具

  1. 加载langchain内置的工具
python
复制代码
from langchain.tools import load_tools
tools = load_tools(["serpapi"],llm=llm)#谷歌的搜索引擎
  1. 通过tool装饰器,自定义工具,在函数中需要描述这个工具
python
复制代码
from langchain.agents import tool
@tool
def serpapi_search(query:str)->str:
    '''使用serpapi搜索引擎获取搜索结果'''
    from serpapi import GoogleSearch
    params = {
        "q": query,
        "api_key": "serpapi-api-key"
    }
    search = GoogleSearch(params)
    results = search.get_dict()
    return results['organic_results'][0]['snippet']
 tools = [serpapi_search]

Toolkit

工具包，一组工具的集合,tools = [serpapi_search]和tools = load_tools(["serpapi"],llm=llm)都是工具包.

AgentExecutor

代理执行器是代理执行时，由它来选择并执行其他选择的动作。

  1. 处理代理选择不存在的工具的情况
  2. 处理工具发生错误的情况
  3. 处理代理生成无法解析为工具调用的输出的情况
  4. 在所有级别上记录和可观察性（代理决策，工具调用）

思考的过程

  • Action:就是根据用户的输入，选用哪个Tool，然后行动
  • Action Input:根据需要使用的Tool，从用户的输入里提取相关的内容，可以输入到Tool里面
  • Observation:就是观察通过使用 Tool 得到的一个输出结果。稳定版本之前有展示,稳定版本之后就没有了,但是步骤仍然存在
  • Thought:就是再看一眼用户的输入，判断一下该怎么做,同样是稳定版本之前有展示,稳定版本之后就没有了,仍然存在
  • Final Answer:就是 Thought 在看到 Obersavation 之后，给出的最终输出,

创建一个代理

这里来创建一个react代理,给他配备一个谷歌的搜索引擎,让他能去搜索网络上的内容,但是他对中文不友好,用Translator翻译翻译.还配备了一个运算工具,看看他是否在不同情景下能推理并且选择工具

python
复制代码
# 代理模块，用于调用openai的模型进行对话并执行操作
import os
from dotenv import find_dotenv, load_dotenv
load_dotenv(find_dotenv())
os.environ["OPENAI_API_BASE"] 
os.environ["OPENAI_API_KEY"] 
os.environ["SERPAPI_API_KEY"]
from langchain_openai import ChatOpenAI
#引入集成的工具，包含langchain中内置的各种工具。官方文档中查找
from langchain.agents import create_react_agent,AgentExecutor,tool
#引入hub模块，用于调用hub中的模型
from langchain import hub
#引入工具加载器，用于加载工具
from langchain.tools import load_tools
#引入翻译工具
from translate import Translator
#实例化一个大模型
llm=ChatOpenAI(temperature=0, model="gpt-3.5-turbo")
#从hub中拉取模型
prompt = hub.pull("hwchase17/react")

#创建工具

#搜索引擎
@tool
def serpapi_search(query:str)->str:
    '''使用serpapi搜索引擎获取搜索结果'''#工具描述
    from serpapi import GoogleSearch
    params = {
        "q": query,
        "api_key": os.getenv("SERPAPI_API_KEY")
    }
    search = GoogleSearch(params)
    results = search.get_dict()
    return results['organic_results'][0]['snippet']

#运算工具
@tool
def calculate(expression:str)->str:
    '''计算表达式'''
    return str(eval(expression))


# tools = load_tools(["serpapi"],llm=llm)#加载内置工具
tools=[serpapi_search,calculate]#工具包
#创建agent
agent=create_react_agent(
    llm,
    tools,
    prompt,
)
#代理执行器
agent_executor=AgentExecutor(agent=agent,
                              tools=tools,#工具包
                              verbose=True,#执行的详细过程
                              )
                              
def agent_invoke(huamn_input:str):
    text=agent_executor.invoke({"input":huamn_input})
    res=Translator(from_lang="en",to_lang="zh").translate(text['output'])
    return res

if __name__ == "__main__":
    text=input()
    print(agent_invoke(text))

.env文件内容为:

python
复制代码
# 代理地址
OPENAI_API_BASE = ""
# 代理密钥
OPENAI_API_KEY = ""
#谷歌引擎
SERPAPI_API_KEY=""

搜索一下最近发生的事儿,看看结果:

搜索一下时事 image.png 再来一个 image.png 来个简单的计算题 image.png 根据问题情景,大模型能够进行推理选择工具,关于时事的它能够选择搜索工具进行搜索,关于计算的问题,它能够选择运算工具进行回答,也回答正确了.并且我在问题中没有提示他该选择什么工具.

总结

代理就是让大模型具备了行动的能力,大模型不仅仅局限于进行文本回答,在回答的同时还能进行一系列行动.openai的chatgpt把agent推向了一个新的高度,使得agent更接近于一个’智能体’.通过各种工具将大模型武装起来,或许这个工具,不仅仅是软件也可以是硬件,将大模型与嵌入式结合或许能做成一个能思考能行动的智能机器人,或许在不久的将来,私人AI助理-贾维斯就可以变成现实.

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

Langchain
关注
  • 20
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Langchain 代理 (Agents) ，赋能超级 LLMs
张伟的专栏
10-11 374
我们可以将代理 (Agents) 视为 LLMs 的工具 (Tools)。就像人类使用计算器进行数学计算或在 Google 中搜索信息一样，代理 (Agents) 允许 LLM 做同样的事情。LangChain LLM 代理 (Agents)代理 (Agents) 是可以使用计算器、搜索或执行代码的 LLMs。使用代理 (Agents) ，LLM 可以编写和执行 Python 代码。它可以搜索信息，甚至查询 SQL 数据库。让我们看一个简单的例子。
轻松上手 LangChain 开发框架之 Agent 技术 ！！
musicml的博客
03-24 944
▼最近直播超级多，预约保你有收获—1—Agent 技术剖析Agent 这一模块在 LangChain 的使用过程中也是十分重要的。官方文档是这样定义它的：“The core idea of agents is to use a language model to choose a sequence of actions to take. In chains, a sequence of acti...
基于大模型（LLM）的Agent 应用开发
我相信......
10-15 3455
目前，业界一般认为基于大模型的应用集中在两个方向上：RAG 和 Agent，无论哪一种应用，设计、实现和优化能够充分利用大模型(LLM)潜力的应用都需要大量的努力和专业知识。随着开发人员开始创建日益复杂的LLM应用程序，开发流程不可避免地变得更加复杂。这种流程的潜在设计空间可能是巨大而复杂的，《如何构建基于大模型的App》一文给出了一种探索中的大模型应用开发基础框架，基本可以适用于RAG 和Age...
Agent : 一文读懂LLM Agent架构，详解Profile，Memory，Planning，Action模块作用
人工智能曾小健
11-05 4818
对于对Agent感兴趣的朋友们，我推荐一篇论文，它全面地介绍了Agent的架构，对于理解Agent的全局有着重要的价值。架构就像PC的硬件，但仅依赖架构设计是不够的，我们还需要赋予Agent完成不同任务的能力，这些被视为“软件”资源。除了这些基础知识，我认为最有价值的部分在于，它总结了基于大型语言模型（LLM）的Agent的架构，使我们能够按照一定的标准范式去设计自己的Agent。反馈的来源可能来自任务执行结果的客观反馈，也可能是根据人的主观判断给出的反馈，甚至还可以是由辅助模型提供的反馈。
大模型学习资料：LLM大语言模型的学习路径和各种最佳实践
12-19
大模型学习资料：大语言模型的学习路径和各种最佳实践，包含大模型推荐、大语言模型原理解读、没有训练大模型的条件应该如何训练、大模型相关的论文列表、大模型相关的论文解读，非常全的资料和学习路线，目前大模型...
最全的开源 LLM （大语言模型）整理.zip
09-04
本资源包“最全的开源 LLM （大语言模型）整理.zip”是关于开源大语言模型的一个综合集合，涵盖了多个知名的项目，帮助开发者和研究人员更好地了解和利用这些先进的技术。 【描述】: 这个压缩包包含了一个名为...
Agents-Flex 一个基于 Java 的 LLM（大语言模型）应用开发框架
06-06
Agents-Flex 一个基于 Java 的 LLM（大语言模型）应用开发框架。基本能力：LLM 的访问能力Prompt、Prompt Template 定义加载的能力Function Calling 定义、调用和执行等能力记忆的能力（Memory）EmbeddingVector ...
全球1000+研究员在Twitter直播训练超大模型？？.pdf
08-13
这些模型的参数量越来越大，达到千亿、万亿的级别。 然而，这些模型的技术细节大多数未公布，导致难以全然复现。OpenAI拒绝公布GPT-3模型参数，DeepMind也只是公布了推理代码。这使得研究人员和企业面临着技术壁垒...
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
【LLM】基于LLM的agent应用（上）
发现问题，并解决问题，批判性思维
11-19 1973
ote 在未来，Agent 还会具备更多的可扩展的空间。 就 Observation 而言，Agent 可以从通过文本输入来观察来理解世界到听觉和视觉的集成； 就 Action 而言，Agent 在具身智能的应用场景下，对各种器械进行驱动和操作。 Agent 是以核心智能模型来驱动的，一个可以具备能力从思考开始，最终做到完整输出的智能性结构。Agent 的发展很符合第一性原理，从最先的 Prompt，后面有人在写完的 Prompt 后面加通用的规划器。 文章目录 note 零、相关概念介绍 一、人类与AI协
关于大语言模型LLM插件和Agent的一些想法
lemo的专栏
12-05 598
插件是安装在程序上的软件附加组件，目的是增强其功能，核心是形成围绕基础软件的生态，而这个逻辑放到大语言模型上也是成立的，大语言模型通过插件增强了其能力边界，如实时股票搜索、知识库搜索等功能，来形成围绕大模型基础能力的生态，以适应在不同场景中形成解决方案。(1) 左：在个体层面。对于单个代理来说，其他代理也是环境的一部分。在车载场景中类似车内代驾（自动驾驶），在智能家具场景类似智能管家，在客户场景类似私人客户，在智慧医疗场景类似私人医生，等等，未来我们生活中会有不同的Agent来完成特定场景的特定任务。
【苹果眼镜应用探索】 基于大模型的AI贾维斯- AI助理
u012842807的专栏
04-18 153
【核心玩法】引领未来交互体验，这款智能增强现实AI助理不仅是苹果眼镜的潜在Killer APP，更实现了AI与AR的深度融合。目前，作者展示的交互主要基于眼镜显示器的二维UI对话框，但未来可望加入数字人外观，使其成为真正意义上的个性化智能助手。通过不断优化核心玩法、交互方式、可拓展性和商业模式，这款智能增强现实AI助理有望成为未来智能生活的标配，为用户带来前所未有的便捷与智能体验。（2）数字人外观定制收费：提供丰富的数字人外观选择，用户可购买心仪的外观，为智能助手增添个性。【定位】智能增强现实AI助理。
无限可能LangChain——构建代理
最新发布
JackWu1024
06-09 670
我们首先需要创建我们想要使用的工具。我们将使用两个工具：Tavily（在线搜索），然后是我们将创建的本地索引上的检索器。Tavily我们在LangChain中有一个内置工具，可以轻松地使用Tavily搜索引擎作为工具。请注意，这需要一个API密钥。但是如果你没有或者不想创建一个，你可以忽略这一步。。创建API密钥后，您需要将其导出为：result = search.invoke("今天重庆的天气预报")
python开发数字人助理版
11-08 1189
数字人助理版是fay开源项目的重要分支，专注于构建智能数字助理的开源解决方案。它提供了灵活的模块化设计，使开发人员能够定制和组合各种功能模块，包括情绪分析、NLP处理、语音合成和语音输出等。Fay数字人助理版为开发人员提供了强大的工具和资源，用于构建智能、个性化和多功能的数字助理应用。通过该版本，开发人员可以轻松创建适用于各种场景和领域的数字人助理，为用户提供智能化的语音交互和个性化服务。
基于AI大模型的智能聊天机器人的实现
热门推荐
Phyloser的博客
12-18 2万+
基于大模型的智能对话机器人，支持企业微信、微信公众号、飞书、钉钉接入，可选择GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/LinkAI/ChatGLM/KIMI，能处理文本、语音和图片，通过插件访问操作系统和互联网等外部资源，支持基于自有知识库定制企业AI应用。
AI大模型开发架构设计（1）——LLM大模型Agent剖析和应用案例实战
yangwei2048的博客
01-20 3548
LLM Agent 可以理解为一个以 LLM 为大脑的智能体(类比人)，集成了规划、记忆、工具使用等能力。当“记忆”非常多时，如何在大量“记忆”力快速找到最相关的那些“记忆”?Auto-GPT 的效果很大程度上归功于它复杂的。工具使用能力-function calling。工具使用能力-HuggingGPT。Auto-GPT 的主要框架设计。CoT任务拆解的缺陷是什么？LLM和传统规划方式结合。Auto-GPT 的输出。LLM + 向量数据库。LLM的记忆是什么？
大模型从入门到应用——LangChain：记忆（Memory）-[记忆的存储与应用]
冯·诺依曼
08-15 5671
Zep 是一个存储、摘要、嵌入、索引和丰富对话式人工智能聊天历史记录的工具，并通过简单、低延迟的API进行访问。[3] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架：http://www.cnlangchain.com/[2] LangChain 🦜️🔗 中文网，跟着LangChain一起学LLM/GPT开发：https://www.langchain.com.cn/[1] LangChain官方网站：https://www.langchain.com/
什么是大语言模型（LLM）？
05-13
大语言模型（LLM）是指基于深度学习技术，训练出来的巨大的文本预测模型，可以对自然语言进行理解、生成和转换等多种任务。其中最为著名的模型是OpenAI的GPT-3，它可以在不进行任务特定调整的情况下，直接从文本输入中理解并执行多种任务，如机器翻译、文本摘要、问答系统等。 LLM之所以被称为“大”模型，是因为它们通常需要大量的数据和计算资源来训练。而这些训练数据往往是从互联网上收集而来的，包含了各种各样的文本，包括新闻、百科、小说、论文等等。同时，LLM也需要强大的计算资源进行训练，通常采用并行计算或者分布式计算来加速训练过程。 总之，大语言模型是一种可以对自然语言进行处理的深度学习模型，能够执行多种任务，并且需要大量的数据和计算资源来训练。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值