书生·浦语（6）笔记&作业

书生·浦语第六课

《Lagent & AgentLego 智能体应用搭建》
链接：https://www.bilibili.com/video/BV1Xt4217728/?spm_id_from=333.788&vd_source=7809d8a73aa5f844d7fb22527d673684

课堂笔记

1. 智能体出现的背景：
   模型幻觉：回答是假的
   模型时效性
   模型可靠性

2. 智能体是能感知动态条件，影响环境，有推理能力的。

3. 智能体范式：

• autogpt
  
• rewoo
  各种关系的依赖形成有向无环图，在图中进行计划执行
  
• react
  接受输入后选择工具进行执行
  

4. Lagent
   智能体框架，支持多种智能体范式
   
5. agentlego
   多模态工具包，支持多个智能体框架（langchain、transformers agents等）
   
6. 二者关系
   

作业

1. 环境安装与依赖安装
2. 安装lagent和agentlego
   相关帮助文档帮助文档：
   Lagent：https://lagent.readthedocs.io/zh-cn/latest/get_started/install.html
   AgentLego：https://agentlego.readthedocs.io/zh-cn/latest/get_started.html

完成 Lagent Web Demo 使用

使用 LMDeploy 启动一个 api_server
启动并使用 Lagent Web Demo

在等待 LMDeploy 的 api_server 与 Lagent Web Demo 完全启动后（如下图所示），在本地进行端口映射，将 LMDeploy api_server 的23333端口以及 Lagent Web Demo 的7860端口映射到本地。
完成使用：

完成 AgentLego 直接使用部分

AgentLego 在安装时并不会安装某个特定工具的依赖，因此我们接下来准备安装目标检测工具运行时所需依赖。
AgentLego 所实现的目标检测工具是基于 mmdet (MMDetection) 算法库中的 RTMDet-Large 模型，因此首先安装 mim，然后通过 mim 工具来安装 mmdet

新建 direct_use.py 以直接使用目标检测工具

接下来在执行 python /root/agent/direct_use.py 以进行推理。在等待 RTMDet-Large 权重下载并推理完成后，就可以看到如下输出以及一张位于 /root/agent 名为 road_detection_direct.jpg 的图片