InternLM Lagent & AgentLego 智能体应用搭建

具体教程的链接如下：

Tutorial/agent at camp2 · InternLM/Tutorial (github.com)

概述

Lagent 是什么

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。

Lagent 目前已经支持了包括 AutoGPT、ReAct 等在内的多个经典智能体范式，也支持了如下工具：

• Arxiv 搜索
• Bing 地图
• Google 学术搜索
• Google 搜索
• 交互式 IPython 解释器
• IPython 解释器
• PPT
• Python 解释器

AgentLego 是什么

AgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。通过 AgentLego 算法库，不仅可以直接使用多种工具，也可以利用这些工具，在相关智能体框架（如 Lagent，Transformers Agent 等）的帮助下，快速构建可以增强大语言模型能力的智能体。

AgentLego 目前提供了如下工具：

通用能力	语音相关	图像处理	AIGC
计算器 谷歌搜素	文本 -> 音频（TTS） 音频 -> 文本（STT）	描述输入图像 识别文本（OCR） 视觉问答（VQA） 人体姿态估计 人脸关键点检测 图像边缘提取（Canny） 深度图生成 生成涂鸦（Scribble） 检测全部目标 检测给定目标 SAM 分割一切 分割给定目标	文生图 图像拓展 删除给定对象 替换给定对象 根据指令修改 ControlNet 系列 根据边缘+描述生成 根据深度图+描述生成 根据姿态+描述生成 根据涂鸦+描述生成 ImageBind 系列 音频生成图像 热成像生成图像 音频+图像生成图像 音频+文本生成图像

两者的关系

经过上面的介绍，我们可以发现，Lagent 是一个智能体框架，而 AgentLego 与大模型智能体并不直接相关，而是作为工具包，在相关智能体的功能支持模块发挥作用。

实战部分

Lagent：轻量级智能体框架

Lagent Web Demo

具体教程如下：

Tutorial/agent/lagent.md at camp2 · InternLM/Tutorial (github.com)

使用效果如图：

用 Lagent 自定义工具

下面我们将实现一个调用和风天气 API 的工具以完成实时天气查询的功能。

AgentLego：组装智能体“乐高”

直接使用 AgentLego

AgentLego 算法库既可以直接使用，也可以作为智能体工具使用。下面将分别介绍这两种使用方式。我们将以目标检测工具为例。

原图片：

效果：

作为智能体工具使用

使用 LMDeploy 部署，利用webUI

用 AgentLego 自定义工具

下面我们将实现一个调用 MagicMaker 的 API 以实现图像生成的工具。

效果如图：