第六节“Lagent & AgentLego 智能体应用搭建”笔记

本文链接：https://blog.csdn.net/PiQiuNi/article/details/137820766

本文介绍了Lagent，一个轻量级的智能体框架，用于高效创建大语言模型智能体，并支持多种工具。同时，AgentLego作为工具包，提供乐高积木式的组件，帮助用户快速扩展功能。文章还展示了如何使用这两个工具进行环境配置和目标检测实例。

摘要由CSDN通过智能技术生成

Lagent & AgentLego 智能体应用搭建

一、概述

Legent

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。

Lagent 目前已经支持了包括 AutoGPT、ReAct 等在内的多个经典智能体范式，也支持了如下工具：

Arxiv 搜索
Bing 地图
Google 学术搜索
Google 搜索
交互式 IPython 解释器
IPython 解释器
PPT
Python 解释器

AgentLego

AgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。通过 AgentLego 算法库，不仅可以直接使用多种工具，也可以利用这些工具，在相关智能体框架（如 Lagent，Transformers Agent 等）的帮助下，快速构建可以增强大语言模型能力的智能体。
在这里插入图片描述

Lagent 是一个智能体框架，而 AgentLego 与大模型智能体并不直接相关，而是作为工具包，在相关智能体的功能支持模块发挥作用。

在这里插入图片描述

环境配置

conda activate agent
安装 Lagent 和 AgentLego

二、Lagent: 轻量化智能体框架

1. Web Demo

LMDeploy 部署 api_server

lmdeploy serve api_server /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b \
                            --server-name 127.0.0.1 \
                            --model-name internlm2-chat-7b \
                            --cache-max-entry-count 0.1

启动并使用Web Demo

cd /root/agent/lagent/examples
streamlit run internlm2_agent_web_demo.py --server.address 127.0.0.1 --server.port 7860

在这里插入图片描述
调用接口存在问题

三、AgentLego: 组装智能体“乐高”

以目标检测工具为例

1. 直接使用

权重下载与推理
direct_use.py

import re

import cv2
from agentlego.apis import load_tool

# load tool
tool = load_tool('ObjectDetection', device='cuda')

# apply tool
visualization = tool('/root/agent/road.jpg')
print(visualization)

# visualize
image = cv2.imread('/root/agent/road.jpg')

preds = visualization.split('\n')
pattern = r'(\w+) \((\d+), (\d+), (\d+), (\d+)\), score (\d+)'

for pred in preds:
    name, x1, y1, x2, y2, score = re.match(pattern, pred).groups()
    x1, y1, x2, y2, score = int(x1), int(y1), int(x2), int(y2), int(score)
    cv2.rectangle(image, (x1, y1), (x2, y2), (0, 255, 0), 1)
    cv2.putText(image, f'{name} {score}', (x1, y1), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 1)

cv2.imwrite('/root/agent/road_detection_direct.jpg', image)

在这里插入图片描述
推理结果

2. 作为智能体工具使用

LMDeploy部署

lmdeploy serve api_server /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b \
                            --server-name 127.0.0.1 \
                            --model-name internlm2-chat-7b \
                            --cache-max-entry-count 0.1

启动WebUI

cd /root/agent/agentlego/webui
python one_click.py

配置agent
在这里插入图片描述
配置工具

物体检测工具