轻松Lagent&AgentLego搭建智能体应用

最新推荐文章于 2024-11-09 18:03:01 发布

nlpx2000

最新推荐文章于 2024-11-09 18:03:01 发布

阅读量838

点赞数 14

文章标签：人工智能 AIGC llama 深度学习

本文链接：https://blog.csdn.net/nlpx2000/article/details/137979172

版权

智能提应用搭建建立在internlm2-chat-7b模型上。下面我们进入搭建步骤。

一、Lagent

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。

二、AgentLego

AgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。通过 AgentLego 算法库，不仅可以直接使用多种工具，也可以利用这些工具，在相关智能体框架（如 Lagent，Transformers Agent 等）的帮助下，快速构建可以增强大语言模型能力的智能体。

三、两者的关系

Lagent 是一个智能体框架，而 AgentLego 与大模型智能体并不直接相关，而是作为工具包，在相关智能体的功能支持模块发挥作用。

四、环境配置

执行下面的命令创建存放Agent的目录：

mkdir -p /root/agent

配置cuda环境

studio-conda -t agent -o pytorch-2.1.2

安装Lagent和AgentLego

cd /root/agent

conda activate agent

git clone https://gitee.com/internlm/lagent.git

cd lagent && git checkout 581d9fb && pip install -e . && cd ..

git clone https://gitee.com/internlm/agentlego.git

cd agentlego && git checkout 7769e0d && pip install -e . && cd ..

安装其他依赖

conda activate agent

pip install lmdeploy==0.3.0

准备Tutorial

cd /root/agent

git clone -b camp2 https://gitee.com/internlm/Tutorial.git

五、Lagent：轻量级智能体框架

Lagent Web Demo

使用LMdeploy部署，启动一个api_server

conda activate agent

lmdeploy serve api_server /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b \
   --server-name 127.0.0.1 \
   --model-name internlm2-chat-7b \
   --cache-max-entry-count 0.1

启动并使用Lagent Web Demo

conda activate agent
cd /root/agent/lagent/examples
streamlit run internlm2_agent_web_demo.py --server.address 127.0.0.1 --server.port 78进行本地端口映射
ssh -CNg -L 7860:127.0.0.1:7860 -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的 ssh 端口号

本地浏览器打开 http://localhost:7860 以使用 Lagent Web Demo。首先输入模型 IP 为 127.0.0.1:23333，在输入完成后按下回车键以确认。并选择插件为 ArxivSearch，以让模型获得在 arxiv 上搜索论文的能力。

2.进阶用Lagent自定义工具

使用 Lagent 自定义工具主要分为以下几步：继承 BaseAction 类，实现简单工具的 run 方法；或者实现工具包内每个子工具的功能，简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰。下面我们将实现一个调用和风天气 API 的工具以完成实时天气查询的功能。

创建工具文件

touch /root/agent/lagent/lagent/actions/weather.py（大小写敏感）新建工具文件，添加如下内容：

import json

import os

import requests

from typing import Optional, Type

from lagent.actions.base_action import BaseAction, tool_api

from lagent.actions.parser import BaseParser, JsonParser

from lagent.schema import ActionReturn, ActionStatusCode

class WeatherQuery(BaseAction):

    """Weather plugin for querying weather information."""

    def __init__(self,

                 key: Optional[str] = None,

                 description: Optional[dict] = None,

                 parser: Type[BaseParser] = JsonParser,

                 enable: bool = True) -> None:

        super().__init__(description, parser, enable)

        key = os.environ.get('WEATHER_API_KEY', key)

        if key is None:

            raise ValueError(

                'Please set Weather API key either in the environment '

                'as WEATHER_API_KEY or pass it as `key`')

        self.key = key

        self.location_query_url = 'https://geoapi.qweather.com/v2/city/lookup'

        self.weather_query_url = 'https://devapi.qweather.com/v7/weather/now'

    @tool_api

    def run(self, query: str) -> ActionReturn:

        """一个天气查询API。可以根据城市名查询天气信息。

        Args:

            query (:class:`str`): The city name to query.

"""

        tool_return = ActionReturn(type=self.name)

        status_code, response = self._search(query)

        if status_code == -1:

            tool_return.errmsg = response

            tool_return.state = ActionStatusCode.HTTP_ERROR

        elif status_code == 200:

            parsed_res = self._parse_results(response)

            tool_return.result = [dict(type='text', content=str(parsed_res))]

            tool_return.state = ActionStatusCode.SUCCESS

        else:

            tool_return.errmsg = str(status_code)

            tool_return.state = ActionStatusCode.API_ERROR

        return tool_return

    def _parse_results(self, results: dict) -> str:

        """Parse the weather results from QWeather API.

        Args:

            results (dict): The weather content from QWeather API

                in json format.

        Returns:

            str: The parsed weather results.

"""

        now = results['now']

        data = [

            f'数据观测时间: {now["obsTime"]}',

            f'温度: {now["temp"]}°C',

            f'体感温度: {now["feelsLike"]}°C',

            f'天气: {now["text"]}',

            f'风向: {now["windDir"]}，角度为 {now["wind360"]}°',

            f'风力等级: {now["windScale"]}，风速为 {now["windSpeed"]} km/h',

            f'相对湿度: {now["humidity"]}',

            f'当前小时累计降水量: {now["precip"]} mm',

            f'大气压强: {now["pressure"]} 百帕',

            f'能见度: {now["vis"]} km',

        return '\n'.join(data)

    def _search(self, query: str):

        # get city_code

        try:

            city_code_response = requests.get(

                self.location_query_url,

                params={'key': self.key, 'location': query}

        except Exception as e:

            return -1, str(e)

        if city_code_response.status_code != 200:

            return city_code_response.status_code, city_code_response.json()

        city_code_response = city_code_response.json()

        if len(city_code_response['location']) == 0:

            return -1, '未查询到城市'

        city_code = city_code_response['location'][0]['id']

        # get weather

        try:

            weather_response = requests.get(

                self.weather_query_url,

                params={'key': self.key, 'location': city_code}

        except Exception as e:

            return -1, str(e)

return weather_response.status_code, weather_response.json()

获取API KEY

首先要获取 API KEY。首先打开开发文档 | 和风天气开发服务后，点击右上角控制台。进入控制台后，点击左侧项目管理，然后点击右上角创建项目以创建新项目。输入相关项目名称，选择免费订阅，Web API 以及输入 key 的名称。（项目名称和 key 的名词自由输入即可，接下来回到项目管理页面，查看我们刚刚创建的 key，并且复制好以供使用。启动 LMDeploy 服务和 Tutorial 已经写好的用于这部分的 WebDemo。

conda activate agent
lmdeploy serve api_server /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b \
    --server-name 127.0.0.1 \
    --model-name internlm2-chat-7b \
    --cache-max-entry-count 0.1
export WEATHER_API_KEY=在2.2节获取的API KEY
# 比如 export WEATHER_API_KEY=1234567890abcdef
conda activate agent
cd /root/agent/Tutorial/agent
streamlit run internlm2_weather_web_demo.py --server.address 127.0.0.1 --server.port 7860
体验自定义工具效果：
映射本地端口：
ssh -CNg -L 7860:127.0.0.1:7860 -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的 ssh 端口
本地浏览器打开 http://localhost:7860 以使用 Lagent Web Demo。首先输入模型 IP 为 127.0.0.1:23333，在输入完成后按下回车键以确认。并选择插件为 WeatherQuery，以让模型获得查询天气的能力。

六、AgentLego组装智能体乐高

直接使用AgentLego

下载demo文件

cd /root/agent
wget http://download.openmmlab.com/agentlego/road.jpg

首先安装mim，然后通过mim工具来安装mmdet，AgentLego实现的目标检测工具是基于 mmdet (MMDetection) 算法库中的 RTMDet-Large 模型。

pip install openmim==0.3.9

mim install mmdet==3.3.0

/root/agent 目录下新建 direct_use.py 文件，文件添加如下内容：

import re

import cv2

from agentlego.apis import load_tool

# load tool

tool = load_tool('ObjectDetection', device='cuda')

# apply tool

visualization = tool('/root/agent/road.jpg')

print(visualization)

# visualize

image = cv2.imread('/root/agent/road.jpg')

preds = visualization.split('\n')

pattern = r'(\w+) \((\d+), (\d+), (\d+), (\d+)\), score (\d+)'

for pred in preds:

    name, x1, y1, x2, y2, score = re.match(pattern, pred).groups()

    x1, y1, x2, y2, score = int(x1), int(y1), int(x2), int(y2), int(score)

    cv2.rectangle(image, (x1, y1), (x2, y2), (0, 255, 0), 1)

    cv2.putText(image, f'{name} {score}', (x1, y1), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 1)

cv2.imwrite('/root/agent/road_detection_direct.jpg', image)

执行python /root/agent/direct_use.py脚本进行RTMDet-Large 权重下载并推理。相应目录下多了一张图片。

2.进阶作为智能体工具使用

修改相关文件

/root/agent/agentlego/webui/modules/agents/lagent_agent.py 文件的第 105行位置，将 internlm2-chat-20b 修改为 internlm2-chat-7b：

使用LMdeploy部署

执行如下代码使用LMDeploy 启动一个AgentLego 的WebUI 需要用到 api_server。

lmdeploy serve api_server /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b \
    --server-name 127.0.0.1 \
    --model-name internlm2-chat-7b \
    --cache-max-entry-count 0.1

启动AgentLego WebUI

cd /root/agent/agentlego/webui
python one_click.py

本地映射端口：

ssh -CNg -L 7860:127.0.0.1:7860 -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的 ssh 端口号

本地的浏览器页面中打开 http://localhost:7860 使用 AgentLego WebUI。

页面配置Agent：按下图各项选择，点击save to保存配置。Agent框为internlm2点击Load加载。

配置工具：按下图选择，点击save保存等待加载。

使用Chat，工具加载完成后，点击上方 Chat 以进入对话页面。在页面下方选择工具部分只选择 ObjectDetection 工具，为了确保调用工具的成功率，请在使用时确保只有这一个工具启用。

点击右下角文件夹以上传图片，上传图片后输入指令并点击 generate 得到模型回复。

3.进阶用AgentLego自定义工具

基于 AgentLego 构建自己的自定义工具。自定义工具主要分为以下几步：继承 BaseTool 类，修改 default_desc 属性（工具功能描述），如有需要，重载 setup 方法（重型模块延迟加载），重载 apply 方法（工具功能实现），下面我们将实现一个调用 MagicMaker 的 API 以实现图像生成的工具。

创建工具文件：

touch /root/agent/agentlego/agentlego/tools/magicmaker_image_generation.py新建工具文件。该文件的内容如下：

import json

import requests
import numpy as np
from agentlego.types import Annotated, ImageIO, Info
from agentlego.utils import require
from .base import BaseTool
class MagicMakerImageGeneration(BaseTool):
     default_desc = ('This tool can call the api of magicmaker to '
                     'generate an image according to the given keywords.')
     styles_option = [
         'dongman',  # 动漫
         'guofeng',  # 国风
         'xieshi',   # 写实
         'youhua',   # 油画
         'manghe',   # 盲盒
    ]
    aspect_ratio_options = [
         '16:9', '4:3', '3:2', '1:1',
         '2:3', '3:4', '9:16'
   ]
    @require('opencv-python')

    def __init__(self,

                 style='guofeng',

                 aspect_ratio='4:3'):

        super().__init__()

        if style in self.styles_option:

            self.style = style

        else:

            raise ValueError(f'The style must be one of {self.styles_option}')

        if aspect_ratio in self.aspect_ratio_options:

            self.aspect_ratio = aspect_ratio

        else:

            raise ValueError(f'The aspect ratio must be one of {aspect_ratio}')

    def apply(self,

              keywords: Annotated[str,

                                  Info('A series of Chinese keywords separated by comma.')]

        ) -> ImageIO:

        import cv2

        response = requests.post(

            url='https://magicmaker.openxlab.org.cn/gw/edit-anything/api/v1/bff/sd/generate',

            data=json.dumps({

                "official": True,

                "prompt": keywords,

                "style": self.style,

                "poseT": False,

                "aspectRatio": self.aspect_ratio

}),

            headers={'content-type': 'application/json'}

        image_url = response.json()['data']['imgUrl']

        image_response = requests.get(image_url)

        image = cv2.imdecode(np.frombuffer(image_response.content, np.uint8), cv2.IMREAD_COLOR)

        return ImageIO(image)

注册新工具

修改 /root/AgentLego/agentlego/agentlego/tools/__init__.py 文件，将我们的工具注册在工具列表中。如下所示，我们将 MagicMakerImageGeneration 通过 from .magicmaker_image_generation import MagicMakerImageGeneration 导入到了文件中，并且将其加入了 __all__ 列表中：

体验自定义工具效果：

两个 terminal 中分别启动 LMDeploy 服务和 AgentLego 的 WebUI 以体验我们自定义的工具的效果。

执行如下命令启动LMDeploy服务

conda activate agent

lmdeploy serve api_server /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b \
    --server-name 127.0.0.1 \
    --model-name internlm2-chat-7b \
    --cache-max-entry-count 0.1

执行如下命令下载权重文件启动AgentLego的Web UI服务：

cd /root/agent/agentlego/webui
python one_click.py

本地端口映射

ssh -CNg -L 7860:127.0.0.1:7860 -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的 ssh 端口号

本地的浏览器页面中打开 http://localhost:7860 ，Tool 界面选择 MagicMakerImageGeneration 后点击 save 后，回到 Chat 页面选择 MagicMakerImageGeneration 工具后就可以开始使用。

nlpx2000

关注

14
点赞
踩
22

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫