第六章作业速通

文章讲述了在GPU算力紧张且模型超过显存限制的情况下,作者尝试通过模型量化降低算力并解决界面卡顿问题。使用AgentLego部分功能后,发现量化后的模型表现不佳,显存占用需提升。后续内容涉及自定义工具的使用和对显存优化的需求。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

GPU算力紧张,排队麻烦,于是选了最低算力摸鱼速通,当然使用的模型也超过了显存要求,这里就先按照第五章将模型量化后运行。

运行后能成功进入web进行lagent交互,不过界面卡住了,似乎是,版本更新的问题,跳过

然后直接进行AgentLego 直接使用部分,结果如下

然后进行webui的运行,先运行web demo程序,

用ssh进行本地连接后,登录定好的地址,然后调用自己的agent,save后加载tool,进行一轮对话

量化加低显存双重debuff后,模型正在胡言乱语,不过能正常调用agent api。

然后关掉,接下来是使用自定义工具的部分

彻底不说话了,所以量化后最好提高以下显存占用。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值