这篇文档是关于生成式人工智能Agent(Generative AI agents)的技术白皮书,主要介绍了Agent的概念、组成部分、工作原理、工具类型,以及在实际中的应用和开发方式,用通俗易懂的话来说,主要内容如下:
什么是Agent:
Agent就像是一个更聪明的程序,它能借助生成式人工智能模型,通过推理、逻辑思考,还能利用外部信息和工具来完成任务。和人类一样,遇到问题时,它会借助各种 “工具”寻找答案,而不是只靠自己原有的知识。而且它不用人时刻盯着,能自己主动做事,朝着目标前进。
Agent的组成部分
- 模型:模型在Agent里是个 “智慧大脑”,一般是语言模型。它能根据指令进行推理,有通用的,也有针对特定任务调整过的。为了让Agent工作得更好,最好选个和最终应用匹配的模型,并且用和工具相关的数据训练它。
- 工具:工具是Agent连接外部世界的 “桥梁”。因为模型本身没办法和外界互动,有了工具,Agent就能获取外部数据、使用各种服务,像查询天气、更新数据库信息等。常见的工具类型有扩展(Extensions)、函数(Functions)和数据存储(Data Stores)。
- 编排层:编排层是Agent的 “行动指挥家”,它控制着Agent获取信息、思考推理,再根据结果决定下一步行动的整个过程。这个过程会一直循环,直到完成任务。它的复杂程度因Agent和任务的不同而不同。
Agent和模型的区别:
模型的知识局限于训练数据,而Agent可以通过工具连接外部系统获取更多知识;模型通常基于单次用户查询进行推理预测,而Agent可以管理会话历史,进行多轮推理预测;模型没有原生的工具实现,而Agent架构中则原生实现了工具。
Agent的工作方式:
Agent通过认知架构来完成任务,就像厨师做菜,先收集信息(比如顾客点的菜、厨房里有的食材),然后思考(能做什么菜),再行动(开始做菜),过程中还会根据情况调整。Agent也类似,它的编排层会利用提示工程和相关框架来思考、规划,选择合适的推理技术,比如ReAct、思维链(Chain-of-Thought )、思维树(Tree-of-thoughts )等,让自己和外界更好地互动,完成任务。
工具的详细介绍
- 扩展:扩展是帮助Agent使用API的 “小助手”。比如Agent要订机票,用扩展的话,不用自己写复杂代码去处理各种情况,扩展会教Agent怎么用机票API,告诉它需要什么信息才能成功调用API。谷歌还提供了一些现成的扩展,像代码解释器扩展,能根据自然语言描述生成并运行Python代码。
- 函数:函数就像是Agent的 “智能模块”。和扩展不同,模型只是输出要用的函数和参数,不会直接调用API,实际调用在客户端进行。这样开发者能更好地控制数据流动,比如遇到API调用受限、需要在其他应用层处理数据等情况,函数就很有用。而且函数能让模型输出结构化数据,方便其他系统处理。
- 数据存储:数据存储是Agent的 “新信息宝库”。语言模型的知识像个固定的图书馆,而数据存储能给它提供最新的动态信息。开发者把数据存进去,数据存储会把数据变成Agent能读懂的形式。检索增强生成(RAG)应用就是用数据存储,让Agent能访问各种格式的数据,回答问题更准确。
提升模型性能的方法:
为了让模型更好地选择工具,可以用不同的学习方法。比如在上下文学习,给模型一些提示、工具和例子,让它根据这些“现场学习”;检索式上下文学习,从外部存储器找相关信息、工具和例子,放进模型提示里;微调学习,用大量特定例子训练模型,让它提前知道怎么用工具。这些方法各有优缺点,一起用效果更好。
Agent的实践
- 用LangChain快速搭建Agent:LangChain和LangGraph库能帮我们快速搭建Agent。文档里用它们和谷歌的模型,结合搜索和地点查询的工具,做了个能回答复杂问题的Agent示例,展示了模型、编排层和工具是怎么协同工作的。
- Vertex AI平台上的生产应用:谷歌的Vertex AI平台能让开发生产级别的Agent应用更简单。它提供了一个管理环境,开发者用自然语言就能定义Agent的各种关键要素,还有很多开发工具帮助测试、优化Agent。
推荐几个好用的知识资源获取平台和模型微调数据获取平台:
经纶·知识服务平台:
适合经费有限、需要大量阅读文献资源的个人、企事业单位、研发部门等;
优点:文献收录数据量大,包含中外文文献(国内核心期刊收录率超99%,外文核心期刊几乎全部收录),期刊文献元数据超10条,每周都保持更新。另外,年度更新量超500万条。中文科技期刊论文基本都能直接下载,不能直接下载的还可以通过文献传递方式进行获取。
在我这两天的使用的文献传递功能来看,医学方面期刊论文,累计申请传递10篇,一个小时内成功5篇,10小时内成功9篇,24小时内完成所有文献传递。计算机科学相关论文,累计申请24篇,10小时内完成80%的文章传递,有两篇外文SCI顶刊论文在48小时左右完成传递,其他文章基本都在24小时内完成传递。效率还是很快,基本不影响我的日常阅读需求。
目前,我看到很多高校、公共图书馆、医院都已经购买了经纶·知识服务平台,大家可以看看自己所在的单位是否有该产品的使用权限。如果没有可以尝试想单位管理人员申请去开通试用权限。此外,如果是个人使用的话,也可以直接申请,咨询平台官方收费情况,据我了解,该平台个人也可以采用年包制付费使用。
大模型&AI产品经理如何学习
求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。
1.学习路线图
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
(都打包成一块的了,不能一一展开,总共300多集)
因篇幅有限,仅展示部分资料,需要点击下方图片前往获取
3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集***
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓