第六节“Lagent & AgentLego 智能体应用搭建”作业

作业

基础作业

1. 完成 Lagent Web Demo 使用，并在作业中上传截图。

LMDeploy 部署 api_server

lmdeploy serve api_server /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b \
                            --server-name 127.0.0.1 \
                            --model-name internlm2-chat-7b \
                            --cache-max-entry-count 0.1

启动并使用Web Demo

cd /root/agent/lagent/examples
streamlit run internlm2_agent_web_demo.py --server.address 127.0.0.1 --server.port 7860

调用接口存在问题

2. 完成 AgentLego 直接使用部分，并在作业中上传截图。

以目标检测工具为例

(1). 直接使用

权重下载与推理
direct_use.py

import re

import cv2
from agentlego.apis import load_tool

# load tool
tool = load_tool('ObjectDetection', device='cuda')

# apply tool
visualization = tool('/root/agent/road.jpg')
print(visualization)

# visualize
image = cv2.imread('/root/agent/road.jpg')

preds = visualization.split('\n')
pattern = r'(\w+) \((\d+), (\d+), (\d+), (\d+)\), score (\d+)'

for pred in preds:
    name, x1, y1, x2, y2, score = re.match(pattern, pred).groups()
    x1, y1, x2, y2, score = int(x1), int(y1), int(x2), int(y2), int(score)
    cv2.rectangle(image, (x1, y1), (x2, y2), (0, 255, 0), 1)
    cv2.putText(image, f'{name} {score}', (x1, y1), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 1)

cv2.imwrite('/root/agent/road_detection_direct.jpg', image)

推理结果

(2). 作为智能体工具使用

LMDeploy部署

lmdeploy serve api_server /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b \
                            --server-name 127.0.0.1 \
                            --model-name internlm2-chat-7b \
                            --cache-max-entry-count 0.1

启动WebUI

cd /root/agent/agentlego/webui
python one_click.py

配置agent

配置工具

物体检测工具

进阶作业

1. 完成 AgentLego WebUI 使用，并在作业中上传截图。

2.使用 Lagent 或 AgentLego 实现自定义工具并完成调用，并在作业中上传截图。