香港大学余涛组推出开源XLANG Agent!支持三种Agent模式

一个新的未来又逐渐开始从理论走向现实走到我们身边了

语言的意义在于使用,而从 ChatGPT 以来这些大规模语言模型的意义,也必然绝不止于 Chat,在四个月前,我们介绍了清华大学关于工具学习的综述《清华发布工具学习框架,让ChatGPT操控地图、股票查询,贾维斯已来?》,探究如何把以 GPT-4 为代表的大模型更好的与现有的专业工具(如专业设备、程序接口、商业软件等等)相互结合,将大模型变为一个贾维斯式的私人管家而非单纯的聊天机器。

而在四个月前 Demo 式的畅想后,最近香港大学余涛老师组(XLANG Lab)在五个月 15 名研究人员全职投入开发后,推出了一个开源的大模型 Agent——XLANG Agent!

在介绍的博客中,XLANG Agent 的作者将大模型 Agent 可以完成的工作理解为这样一个过程“想象一下这个过程,将以日常语言为载体的人类的指示或问题转化为机器可以理解的动作和代码,随后机器在特定的环境中执行这些动作,从而改变该环境的状态。这些变化被观察、分析,并进而启动与人类下一步交互的循环

事实上,这种大模型 Agent 的理念正是科幻作品中那些遵循人类指令执行特定任务的智能体的初级版本。而 XLANG 则充当着自然语言与特定指令(如可执行的代码或特定动作序列)之间的桥梁,其所互动的环境包括却不限于数据库、Web 应用乃至现实的物理世界。在与环境及人类本身相互不断的一轮轮互动之中,大模型 Agent 可以不断集成人们的反馈到其上下文中,以协作 Agnet 精准有效的完成任务并且延申与拓展用户的真实意图。

具体而言,作者团队将大模型 Agent 总结为:

  • 大模型 Agent 的目标在于在具体环境中解决人类面对的问题,如数据分析、房地产服务等,而非一般的聊天机器人;
  • 大模型 Agent 允许用户以自然语言提供反馈,以指导 Agent 更好的探索并完成任务,换言之,大模型 Agent 可以处理多轮的任务而非单轮的简单输入输出;
  • 大模型 Agent 配备了代码、插件以及浏览器等工具增强其能力,而并不仅仅限于大模型本身。

整个 XLANG Agent 的构建基于 LangChain,LangChain 是一种用于构建由大模型驱动应用程序的框架。基于 LangChain 中的 ReAct,作者团队构建 XLANG Agent 通过三个阶段完成任务:

  • 思考阶段:生成推理轨迹,为下一步行动提供支持;
  • 行动阶段:参与同环境的相互作用;
  • 观察阶段:观察环境状态,为下一步决策做好准备。

在 LangChain 的基础上,XLANG Agent 配备了一套全面的工具、搭建了完整的用户界面,重构了信息表示以及 Prompting。区别于 OpenAI 发布的代码解释器及插件,XLANG Agent 的目标在于构建一个开源通用的大模型 Agent 系统及框架,使得人们可以迭代的添加与改进 Agent 的设计与工作逻辑,集成更多工具,推动大模型 Agent 乃至更宏观的 Executable Language Grounding 的发展

目前,XLANG Agent 支持三种不同的 Agent 场景,分别是数据处理、插件使用以及 Web Agent(Robot Agent 即将推出) ,其中,数据 Agent 可以让用户在选择特定工具后,主动采取行动满足用户需求,譬如让 Agent 首先为自己寻找股票的数据集:

通过点击式的操作,可以将 Agent 找到的数据集加载到界面的 Files 中:

并且通过简单的指令就可以让 Agent 为自己绘制出可交互的图表

并且可以让 Agent 使用类似 ARIMA 这样的模型对数据进行拟合,可以看到 Agent 有可能会拟合失败:

但是“Try it again”,就可以让 Agent 再次尝试并成功搭建好模型

类似的,插件 Agent 可以利用提供的上百个 API 智能的确定当前环境下应该使用的插件,譬如当我前往多伦多时,插件 Agent 会智能的推荐景点、处理货币的换算、提供天气更新、服装建议等等

Web Agent 则会利用 Chrome 扩展程序自动化网站导航,简化浏览并增强信息检索能力,譬如从 IMDb 提取电影评论等等

目前这三个代理都已经上线,作为 XLANG 开源之旅的开始,作者团队表示在未来几个月以及更久的时间里,将会有包括所有框架、模型、演示、代码以及 Benchmark 被发布,XLANG Agent 的主页、代码及文档如下:

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值