GPU算力紧张,排队麻烦,于是选了最低算力摸鱼速通,当然使用的模型也超过了显存要求,这里就先按照第五章将模型量化后运行。
运行后能成功进入web进行lagent交互,不过界面卡住了,似乎是,版本更新的问题,跳过
然后直接进行AgentLego 直接使用部分,结果如下
然后进行webui的运行,先运行web demo程序,
用ssh进行本地连接后,登录定好的地址,然后调用自己的agent,save后加载tool,进行一轮对话
量化加低显存双重debuff后,模型正在胡言乱语,不过能正常调用agent api。
然后关掉,接下来是使用自定义工具的部分
彻底不说话了,所以量化后最好提高以下显存占用。