书生·浦语大模型实战营第二期学习笔记及作业（6）

视频链接：Lagent & AgentLego 智能体应用搭建_哔哩哔哩_bilibili

github教程链接：Tutorial/agent at camp2 · InternLM/Tutorial (github.com)

一、笔记

①大语言模型有一定的局限，训练的模型数据过时，无法反映最新的信息，有时候会胡言乱语，产生虚假的信息。所以需要智能体来帮助我们感知环境、采取动作、以及推理能力。

经典的智能体范式：

②介绍legend和agent lego两个工具包，用于构建基于大圆模型的智能体应用

 Lagent 是什么

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。

Lagent 目前已经支持了包括 AutoGPT、ReAct 等在内的多个经典智能体范式，也支持了如下工具：

• Arxiv 搜索
• Bing 地图
• Google 学术搜索
• Google 搜索
• 交互式 IPython 解释器
• IPython 解释器
• PPT
• Python 解释器

 AgentLego 是什么

AgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。通过 AgentLego 算法库，不仅可以直接使用多种工具，也可以利用这些工具，在相关智能体框架（如 Lagent，Transformers Agent 等）的帮助下，快速构建可以增强大语言模型能力的智能体。

二、作业：

1、完成 Lagent Web Demo 使用，并在作业中上传截图。文档可见 Lagent Web Demo

1.1使用 LMDeploy 部署，启动并使用 Lagent Web Demo

1.2用 Lagent 自定义工具

2、完成 AgentLego 直接使用部分，并在作业中上传截图。

2.1直接使用 AgentLego

①安装目标检测工具运行时所需依赖

②权重下载并推理完成后

③原图和经过AgentLego 检测标记的图

 

2.2使用 LMDeploy 部署AgentLego

启动 AgentLego WebUI

2.3使用 AgentLego WebUI

2.4用 AgentLego 自定义工具

创建工具文件

使用MagicMakerImageGeneration 工具

三、总结

     使用智能体并调用外部API，确实为大型语言模型赋予了更高层次的智能，使其能够执行更多样化的任务。然而，尽管如此，模型在推理过程中的准确性仍有待提高，虚假信息的产生仍然是一个亟待解决的问题。为了提升模型的准确性，可能需要引入更大量的数据进行细致的调整和优化。
此外，在使用外部知识库的过程中，模型有时也会产生不准确的信息。这提示我们，大型模型的可控性和深度学习模型的可解释性是当前技术发展中需要深入探讨和解决的重要课题。为了从根本上提高模型的透明度和可信度，可能需要从底层代码着手，进行深入的分析和研究。
      展望未来，期待能够看到更多关于开源大型模型底层代码的详细解析视频，这将有助于开发者和研究人员更深入地理解模型的工作原理，进而为提升模型性能、增强其可解释性提供有力的支持和指导。