书生浦语笔记&作业六

1. 笔记概述

1.1 LLM的局限性

• 幻觉：模型可能会生成虚假信息，与显示严重不符或脱节
• 时效性：模型训练数据过时，无法反映最新趋势和信息
• 可靠性：面对复杂任务时，可能频发错误输出现象，影响信任度

1.2 智能体

• 可以感知环境中的动态条件
• 能采取动作影响环境
• 能运用推理能力理解信息、解决问题、产生推断、决定动作

1.3 Lagent 是什么

• Lagent 是一个轻量级开源智能体框架。
• 旨在高效构建基于大语言模型的智能体。
• 提供增强大语言模型能力的工具，如 AutoGPT、ReAct。
• 支持多种工具，包括 Arxiv 搜索、Bing 地图、Google 学术搜索、Google 搜索等。

1.4 AgentLego 是什么

• AgentLego 是一个多模态工具包，提供多种开源工具 API。
• 旨在快速简便地拓展自定义工具，组装智能体。
• 提供工具包括语音相关、图像处理、AIGC、计算器等。

1.4 两者的关系

• Lagent 是智能体框架，AgentLego 作为工具包，支持智能体的功能模块。
• 

2. Legent Demo 的直接使用

• 输入“请帮我搜索 InternLM2 Technical Report” 以让模型搜索书生·浦语2的技术报告。
• 生成结果如下图所示

3. 用Lagent自定义工具

1. 创建好工具文件
2. 为了获得稳定的天气查询服务，去获得相关天气服务的API KEY
3. 体验自定义工具效果如下：让它帮我查询徐州的天气，调用速度非常快，使用效果很好。

4. 直接使用AgentLego

1. 下载好demo文件
2. 编写direct_use.py 文件来直接使用objectDetection功能
3. 以下是推理完成后输出的图片

5. 使用AgentLego WebUI

6. 用AgentLego自定义工具

• 在使用过程中，我让它为我生成一幅油画，它能够理解我的意思并做得很好
• 然而，我让它微调一下色调，它却重新生成了一幅画，并且色调和构图与之前那幅图有异曲同工之妙…