第六课课程笔记 Lagent & AgentLego 智能体应用搭建

视频链接

背景

为什么要有智能体（Agent）？

• 大模型的局限性。
  • 幻觉。虚假信息，与现实不符
  • 时效性。训练数据过时，无法反应最新趋势
  • 可靠性。面对复杂任务，可能错误频发

什么是智能体？

• 可以感知环境中的动态条件
• 能采取动作影响环境
• 能用推理能力

智能体的组成

• 大脑。控制器，记忆、思考、决策
• 感知。感知外部环境，图像、音频、视频、各类传感器
• 动作。利用并执行工具以影响环境，比如检索、调用API、操控机械臂
  

一些智能体范式

AutoGPT

ReWoo

• Planner做决策，拆分为多部分
• worker做执行
• solver接收其他两部分，输出结果

ReAct

Lagent

• 一个轻量级的开源智能体框架
• 支持多种智能体范式
• 支持多种工具

AgentLego

• 多模态工具包，自定义＆组成（像乐高积木）
• 支持多个智能体框架，eg. Lagent/LangChain/Transformers Agents
• 提供大量视觉和多模态前沿算法，各种案例

Lagent和AgentLego的关系

• 需要调用工具时才会触发Lagent
• 工具会去找功能支持，一部分多模态的功能支持就在AgentLeg算法库中有实现
• 
  

实战

参考文档
lagent示例
agent示例
总结使用方法

• 都需要打开lmdeploy和agent两个终端。lmdeploy用于部署LLM，agent用于集成工具。
• web打开的是agent web ui。
• agent会整合lmdeploy的部署结果（终端）以及已经注册过的tool。