书生浦语第二期实战营学习笔记（作业）（第六节课）

Ray_Tang_

已于 2024-04-30 11:27:03 修改

阅读量683

点赞数 28

文章标签：学习笔记

于 2024-04-22 20:58:12 首次发布

本文链接：https://blog.csdn.net/Ray_Tang_/article/details/138024028

版权

书生浦语第二期实战营系列—综述加技术报告研读
 书生浦语第二期实战营系列—Tutorial1：demo体验
 书生浦语第二期实战营系列—Tutorial2：RAG
书生浦语第二期实战营系列—Tutorial3：Xtuner微调
 书生浦语第二期实战营系列—Tutorial4：Lmdeploy量化部署
 书生浦语第二期实战营系列—Tutorial5：Agent
书生浦语第二期实战营系列—Tutorial6：OpenCompass

1 背景知识

1.1 智能体的定义

请添加图片描述

1.2 为什么需要智能体

1.模型容易产生幻觉
2.模型训练有时效性
3.模型的输出有可靠性的问题
请添加图片描述

1.3 智能体实现的几种范式

请添加图片描述

1.3.1 AutoGPT

请添加图片描述

1.3.2 ReWoo

请添加图片描述

1.3.3 RaAct

请添加图片描述

1.4 智能体实现工具

智能体实现工具Lagent
Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。

请添加图片描述
2. 多智能体实现工具AgentLego
AgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。通过 AgentLego 算法库，不仅可以直接使用多种工具，也可以利用这些工具，在相关智能体框架（如 Lagent，Transformers Agent 等）的帮助下，快速构建可以增强大语言模型能力的智能体

请添加图片描述
3. Lagent 和 AgentLego 的关系
Lagent 是一个智能体框架，而 AgentLego 与大模型智能体并不直接相关，而是作为工具包，在相关智能体的功能支持模块发挥作用。

2 Lagent和AgentLego使用

2.1 安装依赖

conda activate internlm
git clone https://gitee.com/internlm/lagent.git
cd lagent && git checkout 581d9fb && pip install -e . && cd ..
git clone https://gitee.com/internlm/agentlego.git
cd agentlego && git checkout 7769e0d && pip install -e . && cd ..

pip install lmdeploy==0.3.0

2.2 完成 Lagent Web Demo 使用（基础作业）

2.2.1 下载代码

git clone -b camp2 https://gitee.com/internlm/Tutorial.git

2.2.2 启动server

lmdeploy serve api_server xxx/Shanghai_AI_Laboratory/internlm2-chat-7b \
                            --server-name 127.0.0.1 \
                            --model-name internlm2-chat-7b \
                            --cache-max-entry-count 0.1

请添加图片描述

2.2.3启动Lagent Web Demo

1.启动代码

cd xxx/agent/lagent/examples
streamlit run internlm2_agent_web_demo.py --server.address 127.0.0.1 --server.port 7860

请添加图片描述

2.映射端口

ssh -CNg -L 7860:127.0.0.1:7860 -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的 ssh 端口号

3.打开浏览器http://localhost:7860，在模型ip选择127.0.0.1:23333，插件选择Arxivsearch
请添加图片描述

2.3 完成 AgentLego 直接使用部分（基础作业）

2.3.1 安装依赖

pip install openmim==0.3.9
mim install mmdet==3.3.0

2.3.2 下载数据

wget http://download.openmmlab.com/agentlego/road.jpg

2.3.4 编辑直接启动脚本

使用python直接调用

touch xxx/agent/direct_use.py

import re

import cv2
from agentlego.apis import load_tool

# load tool
tool = load_tool('ObjectDetection', device='cuda')

# apply tool
visualization = tool('xxx/agent/road.jpg')
print(visualization)

# visualize
image = cv2.imread('xxx/agent/road.jpg')

preds = visualization.split('\n')
pattern = r'(\w+) \((\d+), (\d+), (\d+), (\d+)\), score (\d+)'

for pred in preds:
    name, x1, y1, x2, y2, score = re.match(pattern, pred).groups()
    x1, y1, x2, y2, score = int(x1), int(y1), int(x2), int(y2), int(score)
    cv2.rectangle(image, (x1, y1), (x2, y2), (0, 255, 0), 1)
    cv2.putText(image, f'{name} {score}', (x1, y1), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 1)

cv2.imwrite('xxx/agent/road_detection_direct.jpg', image)

2.3.5 运行demo

python xxx/agent/direct_use.py

请添加图片描述

2.4 完成 AgentLego WebUI 使用（进阶作业）

2.4.1 修改代码

由于 AgentLego 算法库默认使用 InternLM2-Chat-20B 模型，因此我们首先需要修改 /root/agent/agentlego/webui/modules/agents/lagent_agent.py 文件的第 105行位置，将 internlm2-chat-20b 修改为 internlm2-chat-7b，即

def llm_internlm2_lmdeploy(cfg):
    url = cfg['url'].strip()
    llm = LMDeployClient(
-         model_name='internlm2-chat-20b',
+         model_name='internlm2-chat-7b',
        url=url,
        meta_template=INTERNLM2_META,
        top_p=0.8,
        top_k=100,
        temperature=cfg.get('temperature', 0.7),
        repetition_penalty=1.0,
        stop_words=['<|im_end|>'])
    return llm

2.4.2 启动server

lmdeploy serve api_server xxx/Shanghai_AI_Laboratory/internlm2-chat-7b \
                            --server-name 127.0.0.1 \
                            --model-name internlm2-chat-7b \
                            --cache-max-entry-count 0.1

2.4.3 启动demo

1.运行webui

cd xxx/agent/agentlego/webui
python one_click.py

2.填写标题栏Agent
点击：标题栏Agent
Agent：写入一个自定义的agent的名字
Agent class：lagent.InternLM2Agent
URL：127.0.0.1：23333
依次点击：save–load
请添加图片描述
3.填写标题栏Tools
点击：标题栏Tools
Tools：ObjectDetection
点击：save

4.填写标题栏Chat
点击：标题栏Chat
Select tools：ObjectDetection
对话框：输入–请检测图中物体
依次点击：打开文件夹图标，选择一张图片–Generate
请添加图片描述

2.5 使用AgentLego 实现自定义工具并完成调用（进阶作业）

2.5.1 创建tools文件

touch xxx/agentlego/agentlego/tools/magicmaker_image_generation.py

import json
import requests

import numpy as np

from agentlego.types import Annotated, ImageIO, Info
from agentlego.utils import require
from .base import BaseTool


class MagicMakerImageGeneration(BaseTool):

    default_desc = ('This tool can call the api of magicmaker to '
                    'generate an image according to the given keywords.')

    styles_option = [
        'dongman',  # 动漫
        'guofeng',  # 国风
        'xieshi',   # 写实
        'youhua',   # 油画
        'manghe',   # 盲盒
    ]
    aspect_ratio_options = [
        '16:9', '4:3', '3:2', '1:1',
        '2:3', '3:4', '9:16'
    ]

    @require('opencv-python')
    def __init__(self,
                 style='guofeng',
                 aspect_ratio='4:3'):
        super().__init__()
        if style in self.styles_option:
            self.style = style
        else:
            raise ValueError(f'The style must be one of {self.styles_option}')
        
        if aspect_ratio in self.aspect_ratio_options:
            self.aspect_ratio = aspect_ratio
        else:
            raise ValueError(f'The aspect ratio must be one of {aspect_ratio}')

    def apply(self,
              keywords: Annotated[str,
                                  Info('A series of Chinese keywords separated by comma.')]
        ) -> ImageIO:
        import cv2
        response = requests.post(
            url='https://magicmaker.openxlab.org.cn/gw/edit-anything/api/v1/bff/sd/generate',
            data=json.dumps({
                "official": True,
                "prompt": keywords,
                "style": self.style,
                "poseT": False,
                "aspectRatio": self.aspect_ratio
            }),
            headers={'content-type': 'application/json'}
        )
        image_url = response.json()['data']['imgUrl']
        image_response = requests.get(image_url)
        image = cv2.imdecode(np.frombuffer(image_response.content, np.uint8), cv2.IMREAD_COLOR)
        return ImageIO(image)

2.5.2 注册新工具

修改init文件xxx/agent/agentlego/agentlego/tools/init.py
++19
++29
请添加图片描述

2.5.3 开启server

lmdeploy serve api_server xxx/Shanghai_AI_Laboratory/internlm2-chat-7b \
                            --server-name 127.0.0.1 \
                            --model-name internlm2-chat-7b \
                            --cache-max-entry-count 0.1

2.5.4 运行demo

1.运行webui

cd xxx/agent/agentlego/webui
python one_click.py

2.填写标题栏Agent
点击：标题栏Agent
Agent：写入一个自定义的agent的名字
Agent class：lagent.InternLM2Agent
URL：127.0.0.1：23333
依次点击：save–load
请添加图片描述

3.填写标题栏Tools
点击：标题栏Tools
Tools：MagicMakerImageGeneration
点击：save
请添加图片描述

4.填写标题栏Chat
点击：标题栏Chat
Select tools：MagicMakerImageGeneration
对话框：输入–请帮我生成一张可爱的宠物照片
依次点击：Generate

请添加图片描述

2.6 使用 Lagent 实现自定义工具并完成调用（进阶作业）

2.6.1 创建tools

import json
import os
import requests
from typing import Optional, Type

from lagent.actions.base_action import BaseAction, tool_api
from lagent.actions.parser import BaseParser, JsonParser
from lagent.schema import ActionReturn, ActionStatusCode

class WeatherQuery(BaseAction):
    """Weather plugin for querying weather information."""
    
    def __init__(self,
                 key: Optional[str] = None,
                 description: Optional[dict] = None,
                 parser: Type[BaseParser] = JsonParser,
                 enable: bool = True) -> None:
        super().__init__(description, parser, enable)
        key = os.environ.get('WEATHER_API_KEY', key)
        if key is None:
            raise ValueError(
                'Please set Weather API key either in the environment '
                'as WEATHER_API_KEY or pass it as `key`')
        self.key = key
        self.location_query_url = 'https://geoapi.qweather.com/v2/city/lookup'
        self.weather_query_url = 'https://devapi.qweather.com/v7/weather/now'

    @tool_api
    def run(self, query: str) -> ActionReturn:
        """一个天气查询API。可以根据城市名查询天气信息。
        
        Args:
            query (:class:`str`): The city name to query.
        """
        tool_return = ActionReturn(type=self.name)
        status_code, response = self._search(query)
        if status_code == -1:
            tool_return.errmsg = response
            tool_return.state = ActionStatusCode.HTTP_ERROR
        elif status_code == 200:
            parsed_res = self._parse_results(response)
            tool_return.result = [dict(type='text', content=str(parsed_res))]
            tool_return.state = ActionStatusCode.SUCCESS
        else:
            tool_return.errmsg = str(status_code)
            tool_return.state = ActionStatusCode.API_ERROR
        return tool_return
    
    def _parse_results(self, results: dict) -> str:
        """Parse the weather results from QWeather API.
        
        Args:
            results (dict): The weather content from QWeather API
                in json format.
        
        Returns:
            str: The parsed weather results.
        """
        now = results['now']
        data = [
            f'数据观测时间: {now["obsTime"]}',
            f'温度: {now["temp"]}°C',
            f'体感温度: {now["feelsLike"]}°C',
            f'天气: {now["text"]}',
            f'风向: {now["windDir"]}，角度为 {now["wind360"]}°',
            f'风力等级: {now["windScale"]}，风速为 {now["windSpeed"]} km/h',
            f'相对湿度: {now["humidity"]}',
            f'当前小时累计降水量: {now["precip"]} mm',
            f'大气压强: {now["pressure"]} 百帕',
            f'能见度: {now["vis"]} km',
        ]
        return '\n'.join(data)

    def _search(self, query: str):
        # get city_code
        try:
            city_code_response = requests.get(
                self.location_query_url,
                params={'key': self.key, 'location': query}
            )
        except Exception as e:
            return -1, str(e)
        if city_code_response.status_code != 200:
            return city_code_response.status_code, city_code_response.json()
        city_code_response = city_code_response.json()
        if len(city_code_response['location']) == 0:
            return -1, '未查询到城市'
        city_code = city_code_response['location'][0]['id']
        # get weather
        try:
            weather_response = requests.get(
                self.weather_query_url,
                params={'key': self.key, 'location': city_code}
            )
        except Exception as e:
            return -1, str(e)
        return weather_response.status_code, weather_response.json()

2.6.2 获取 API KEY

为了获得稳定的天气查询服务，我们首先要获取 API KEY。
1.首先打开 https://dev.qweather.com/docs/api/ （如下图所示）。
依次点击–控制台–项目管理–创建项目
请添加图片描述
2.获取API KEY

2.6.3 启动server

lmdeploy serve api_server xxx/Shanghai_AI_Laboratory/internlm2-chat-7b \
                            --server-name 127.0.0.1 \
                            --model-name internlm2-chat-7b \
                            --cache-max-entry-count 0.1

请添加图片描述

2.6.4 启动Lagent Web Demo

1.启动代码

export WEATHER_API_KEY=1234567890abcdef
cd xxx/agent/Tutorial/agent
streamlit run internlm2_weather_web_demo.py --server.address 127.0.0.1 --server.port 7860

请添加图片描述
2.映射端口

ssh -CNg -L 7860:127.0.0.1:7860 -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的 ssh 端口号

3.打开浏览器http://localhost:7860，在模型ip选择127.0.0.1:23333，插件选择weatherquery
请添加图片描述

参考链接：
1.https://github.com/InternLM/Tutorial/blob/camp2/agent/lagent.md
2.https://github.com/InternLM/Tutorial/blob/camp2/agent/agentlego.md

Ray_Tang_

关注

28
点赞
踩
26

收藏

觉得还不错? 一键收藏
1
评论
书生浦语第二期实战营学习笔记（作业）（第六节课）

智能体实现工具LagentLagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。2. 多智能体实现工具AgentLegoAgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。
复制链接

扫一扫