【InternLM实战营--第六节课作业】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

目录

文章目录

第六节课基础作业

一、Lagent Web Demo

1. 环境配置

1.1创建开发机和 conda 环境

 1.2 安装 Lagent 和 AgentLego

 

1.3 安装其他依赖

 1.4 准备Tutorial

 2. 部署Lagent Web Demo

2.1使用 LMDeploy 部署

2.2 启动并使用 Lagent Web Demo 

3.用 Lagent 自定义工具

二、完成 AgentLego 直接使用部分

1.文件及环境准备

2.完成DEMO推理

---

第六节课基础作业

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、Lagent Web Demo

1. 环境配置

1.1创建开发机和 conda 环境

首先跟着教程，在创建好的开发机中配置好环境

mkdir -p /root/agent
studio-conda -t agent -o pytorch-2.1.2

 

 1.2 安装 Lagent 和 AgentLego

Lagent 和 AgentLego 都提供了两种安装方法，一种是通过 pip 直接进行安装，另一种则是从源码进行安装。为了方便使用 Lagent 的 Web Demo 以及 AgentLego 的 WebUI，我们选择直接从源码进行安装。

• Lagent：安装方式 — Lagent
• AgentLego：安装 — AgentLego 0.2.0 文档

cd /root/agent
conda activate agent
git clone https://gitee.com/internlm/lagent.git
cd lagent && git checkout 581d9fb && pip install -e . && cd ..
git clone https://gitee.com/internlm/agentlego.git
cd agentlego && git checkout 7769e0d && pip install -e . && cd ..

 

 

1.3 安装其他依赖

在这一步中，我们将会安装其他将要用到的依赖库，如 LMDeploy，可以执行如下命令

conda activate agent
pip install lmdeploy==0.3.0

 1.4 准备Tutorial

由于后续的 Demo 需要用到 tutorial 已经写好的脚本，因此我们需要将 tutorial 通过 git clone 的方法准备好，以备后续使用：

cd /root/agent
git clone -b camp2 https://gitee.com/internlm/Tutorial.git

 2. 部署Lagent Web Demo

2.1使用 LMDeploy 部署

由于 Lagent 的 Web Demo 需要用到 LMDeploy 所启动的 api_server，因此我们首先按照下图指示在 vscode terminal 中执行如下代码使用 LMDeploy 启动一个 api_server.

conda activate agent
lmdeploy serve api_server /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b \
                            --server-name 127.0.0.1 \
                            --model-name internlm2-chat-7b \
                            --cache-max-entry-count 0.1

 

 

2.2 启动并使用 Lagent Web Demo 

接下来我们按照下图指示新建一个 terminal 以启动 Lagent Web Demo。在新建的 terminal 中执行如下指令：

conda activate agent
cd /root/agent/lagent/examples
streamlit run internlm2_agent_web_demo.py --server.address 127.0.0.1 --server.port 7860

 

在等待 LMDeploy 的 api_server 与 Lagent Web Demo 完全启动后（如下图所示），在本地进行端口映射，将 LMDeploy api_server 的23333端口以及 Lagent Web Demo 的7860端口映射到本地。可以执行：

ssh -CNg -L 7860:127.0.0.1:7860 -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的 ssh 端口号

 完成端口映射如图：

在打开的web demo中根据教程选择模型IP和插件选择，并输入请帮我搜索 InternLM2 Technical Report 

 作业截图：

效果展示：

3.用 Lagent 自定义工具

为了获得稳定的天气查询服务，我们首先要获取 API KEY。首先打开 开发文档 | 和风天气开发服务 后，点击右上角控制台。（如下图所示）

按照教程创建一个项目，查看自己的key

 

与 1.2 部分类似，我们在两个 terminal 中分别启动 LMDeploy 服务和 Tutorial 已经写好的用于这部分的 Web Demo：

conda activate agent
lmdeploy serve api_server /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b \
                            --server-name 127.0.0.1 \
                            --model-name internlm2-chat-7b \
                            --cache-max-entry-count 0.1

export WEATHER_API_KEY=在2.2节获取的API KEY
# 比如 export WEATHER_API_KEY=1234567890abcdef
conda activate agent
cd /root/agent/Tutorial/agent
streamlit run internlm2_weather_web_demo.py --server.address 127.0.0.1 --server.port 7860

接着按照上面同样的方式进行本地端口映射，就可以在浏览器中打开web demo啦！

作业截图： 

 

 

 

二、完成 AgentLego 直接使用部分

1.文件及环境准备

首先下载 demo 文件：

cd /root/agent
wget http://download.openmmlab.com/agentlego/road.jpg

由于 AgentLego 在安装时并不会安装某个特定工具的依赖，因此我们接下来准备安装目标检测工具运行时所需依赖。

安装相关依赖：

conda activate agent
pip install openmim==0.3.9
mim install mmdet==3.3.0

 

 

2.完成DEMO推理

然后通过 touch /root/agent/direct_use.py（大小写敏感）的方式在 /root/agent 目录下新建 direct_use.py 以直接使用目标检测工具，direct_use.py 的代码如下：

import re

import cv2
from agentlego.apis import load_tool

# load tool
tool = load_tool('ObjectDetection', device='cuda')

# apply tool
visualization = tool('/root/agent/road.jpg')
print(visualization)

# visualize
image = cv2.imread('/root/agent/road.jpg')

preds = visualization.split('\n')
pattern = r'(\w+) \((\d+), (\d+), (\d+), (\d+)\), score (\d+)'

for pred in preds:
    name, x1, y1, x2, y2, score = re.match(pattern, pred).groups()
    x1, y1, x2, y2, score = int(x1), int(y1), int(x2), int(y2), int(score)
    cv2.rectangle(image, (x1, y1), (x2, y2), (0, 255, 0), 1)
    cv2.putText(image, f'{name} {score}', (x1, y1), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 1)

cv2.imwrite('/root/agent/road_detection_direct.jpg', image)

 

接下来在执行 python /root/agent/direct_use.py 以进行推理。在等待 RTMDet-Large 权重下载并推理完成后，我们就可以看到如下输出以及一张位于 /root/agent 名为 road_detection_direct.jpg 的图片： 

作业截图;

运行完成：