第六课作业 Lagent＆AgentLego基础和进阶作业

Lagent

1、环境安装完成

2、Lagent Web demo使用arxiv成功

• 如果勾选数据分析，则会倾向于使用python解释器，输出代码结果

3.使用自定义的天气API，和风天气，插件选择weather query

• 显存占用大概17G，成功运行
• 可以回答今日全球各地天气，无法回答过去或者未来的天气；存在理解错的可能，南京理解为南宁
• 有点像InternLM理解输入的意思后，去调用相关的工具包

AgentLego

1、直接使用成功，输出物体类别和坐标，输出识别结果图

2、作为智能体工具使用

• agent load成功

• tool load成功

• 显存消耗17G左右，运行成功
  • 因为是用的rtmdet-large预训练模型，所以无法检测预训练数据集中不存在的物体
  • 小目标检测能力一般

• 对于身份回答有agent作为助手的概念

3、自定义使用

• magicmaker使用成功。
• 注册新tool的过程和mmdet差不多，都需要添加文件和在__init__.py文件中修改。
• 在tool选择中，单独选一个，效果最好。但需要start new chat刷新几次。

4、总结使用方法

• 都需要打开lmdeploy和agent两个终端。lmdeploy用于部署LLM，agent用于集成工具。
• web打开的是agent web ui。
• agent会整合lmdeploy的部署结果（终端）以及已经注册过的tool。