使用Lagent将InternLM2(书生·浦语大模型)转变为智能体

Lagent是一个轻量级、开源的基于大语言模型的智能体(Intelligent Agent)框架,更具体的介绍可以从中文文档中获得

欢迎来到 Lagent 的中文文档! — Lagenticon-default.png?t=N7T8https://lagent.readthedocs.io/zh-cn/latest/index.htmlAgent 是让 LLM 具备目标实现的能力,并通过自我激励循环来实现这个目标。要让LLM替代人去做事,我们可以基于PDCA模型进行 规划、执行、评估和反思。
规划能力(Plan)-> 分解任务:Agent大脑把大的任务拆解为更小的,可管理的子任务,这对有效的、可控的处理好大的复杂的任务效果很好。
执行能力(Done)-> 使用工具:Agent能学习到在模型内部知识不够时去调用外部API,比如:获取实时的信息、执行代码的能力、访问专有的信息知识库等等。
评估能力(Check)-> 确认执行结果:Agent要能在任务正常执行后判断产出物是否符合目标,在发生异常时要能对异常进行分类(危害等级),对异常进行定位(哪个子任务产生的错误),对异常进行原因分析(什么导致的异常)。这个能力是通用大模型不具备的,需要针对不同场景训练独有的小模型。

大模型应用系列——智能体(Agent) - 知乎 (zhihu.com)icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/682163652

一、开启conda环境并下载Legent代码

打开conda环境并进入子路径

conda activate demo
cd /root/demo

拉取lagent代码,切换分支并安装源码

git clone https://gitee.com/internlm/lagent.git
# git clone https://github.com/internlm/lagent.git
cd /root/demo/lagent
git checkout 581d9fb8987a5d9b72bb9ebd37a95efd47d479ac
pip install -e . # 源码安装

运行结果如下

二、使用Lagent运行InternLM2-Chat-7B模型为内核的智能体

share文件夹下包含所有实验需要的基础模型,输入命令构造软链接

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b
创建软链接

ln -s [源文件或目录] [目标文件或目录]

请注意源、目标文件/目录都不要在最后加”/”,重要的事情说三遍。

软连接构造好后models路径下就有一个文件夹

如果想要删除软连接则直接使用 rm 文件名 删除(不带/)

如果想要修改软连接则 ln –snf  [新的源文件或目录]  [目标文件或目录]

接下来打开lagent路径下 examples/internlm2_agent_web_demo_hf.py 文件,并修改对应位置 (71行左右) 代码:

# 其他代码...
value='/root/models/internlm2-chat-7b'
# 其他代码...

接下来使用命令运行demo

streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006

demo运行成功情况如下

然后在本地用ssl连接studio端口,具体操作细节查看

internLM(书生·浦语大模型)Demo部署及使用-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/weixin_41173201/article/details/137238742?spm=1001.2014.3001.5501在浏览器打开127.0.0.1:6006,将左侧数据分析勾选上,就可以进行计算了

需要注意的是这个demo的运行需要至少30%A100算力

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值