做好RAG不容易!
相似≠相关
一个好的RAG产品,上限就在Agent+工作流编排!
我们产品设计的顶层入口,在RAG,不在Agent!
意思是,可以在RAG的系统中,调用Agent获取外部信息,作为参照!
那,有没有可能在Agent角度!把RAG作为一种子反馈,给Agent做服务?
这样的系统,才有完成复杂任务的可能!
沿着思路!
雄哥在GraphRAG系列,继续深入!
让知识图谱成为agent的工具之一,当需用到知识图谱,或任何数据库时!
自主决策,是否调用!
这个系列是知识图谱的加餐,价值非常高,围绕“如何做好RAG?”角度设计!
人的专注力只有10分钟!那!话不多说!
本篇内容!直接跳到自己感兴趣部分!
① 如何把GraphRAG接入到Agent?原理?
② 会遇到的问题与解决方案!
③ 跑起来!一边跑一边聊代码细节!
第一部分:如何把GraphRAG接入到Agent?
雄哥在MAS系列都详细介绍过Agent,在顶层做产品设计+技术研究!
为MAS配备与外部世界交互的特定tools,将其从被动语言模型转变为采取行动的动态问题决策者!
才是将来!
今天,跟着雄哥钻进去!
把GraphRAG的结果,成为Agent的信息接口,之一!
为什么是之一?
你也可以用这个方案,覆盖任何+所有产品,把它接到agent!
Agent根据当下的任务,智能+自主决策,调用什么信息,才能当下任务!
本次,雄哥把Neo4j接入到Agent,过程是这样的!
这是一个最简单的示意图!
雄哥自定义tools,让Agent以此来做决策,该用哪个!
@tool("employee-qa-tool", return_direct=True)``def employee_qa_tool(query: str) -> str:` `"""Useful for answering questions about employees who work at a company."""` `employee_details_chat_system_prompt = SystemMessagePromptTemplate(` `prompt=PromptTemplate(` `input_variables=["context"],` `template=employee_details_chat_template_str` `)` `)
稍后,雄哥会在代码里,把核心关键的部分,拿出来演示,更深刻!
MAS的内部,怎样做决策的?多Agent间是如何对齐的?
沿着函数调用,如何提高tools成功触达率?错了怎么办?
即将上线的函数调用专题,也会继续深入!
示意看起来非常简单!但是想做好也不容易!
tools越多,决策正确率越低,所以尽可能少地让一个线程的agent跨领域决策!
可以使用父子架构设计!尽可能少地做tools决策!
那找到对的tools,面对动态任务目标,如何让tools的结果也动态起来!
比如Neo4j中:
需要找产品信息,但tools去找的是跟单路由,无法完成任务!
这时需要动态查询!
以此深入,雄哥讲三天三夜讲不完,跟着这个思路!
我们继续!
第二部分:面临的问题与解决方案!
刚刚雄哥介绍到,这个任务中,主要面临的是问题,很多!
但关键!即:
#A tools成功选用率
#B 动态任务的tools成功触达率
两个指标,影响整个系统性能+体验感!
跟着雄哥,拆开!
2.1 tools成功选用率
成功选用率=调用次数/正确tools反馈次数*100%
注意,这里“正确tools反馈次数”不是我们理解的对的工具,是雄哥做评估时,解决问题生成结果,是达到90分以上的,以最终结果为准,并不是简单的对应领域!
看公式
基本断定:
系统中的tools越多,Agent做的决策,成功率越低!
当下,越少的tools编排,成功率越高!
但,这是很不讲理的做法!
没办法,大模型训练成本过高,能干的事,真的很有限!
沿着这个思路,我们要做提升,要做复杂编排!
父子结构编排-明文
需有一份【通用行动指南】+【任务说明书】
【通用行动指南】
比如:办公室中,所有人都不能吸烟!
对所有人通用!
在MAS中也一样的,比如以怎样的准则生成及提供服务,以免影响客户感知或对系统造成破坏;
【任务说明书】
员工一旦,坐到办公位
每个人工作内容,就不同了
a是干财务的,需要做账、检查原始凭证、核对工资等等
b是干人事的,需要招聘、做考勤、人才规划等等
lost_baggage = Agent(` `name="Lost baggage traversal",` `instructions=STARTER_PROMPT + LOST_BAGGAGE_POLICY,` `functions=[` `escalate_to_agent,` `initiate_baggage_search,` `transfer_to_triage,` `case_resolved,` `],``)
简单任务是没有问题的!
之后,我们也会在其他系列,拓展更多方案!
比如在大模型内部微调,增强Agent在垂直领域的掌控能力!
2.2 动态任务的tools成功触达率
成功触达率=执行次数/收到成功执行结果次数*100%
这里,主要看tools的执行成功率,收到了任务需要的反馈!
但任务是动态的时候,这是一个很大的问题,继续我们上面的例子!
Neo4j中,查询语言是Cypher,我们要做动态+实时的结果!
实时获取最新的数据,那如何根据任务,找到关键字,生成正确的查询语句,非常重要!
基于这个目标,我们可以继续想办法了,比较常见:
1-用提示词
2-微调
成本最低=用提示词
但如果一些通用models,完成任务的质量就不行了,这时就需要微调!
提示词方案:
qa_generation_template_str = """``您是一名助手,负责将Neo4j Cypher查询的结果转化为易于人类阅读的响应。查询结果部分包含了基于用户自然语言问题生成的Cypher查询结果。所提供的信息是权威的;您绝不能质疑它,或者使用您的内部知识去更改它。确保您的回答听起来像是针对问题的回应.``Query Results:``{context}``Question:``{question}``如果提供的信息为空,请通过声明您不知道答案来回应。空信息由以下方式表示: []``如果信息不为空,您必须使用结果来提供答案。如果问题涉及时间长度,请假设查询结果是以天为单位,除非另有说明.``当查询结果中提供名称时,例如医院名称,要小心任何包含逗号或其他标点符号的名称。例如,“Jones, Brown and Murray”是一个医院名称,而不是多个医院。确保任何名称列表都清晰地呈现,以避免歧义并使全名易于识别.``绝不要在查询结果中有数据的情况下表示你缺乏足够的信息。始终利用提供的数据.``Helpful Answer:``"""
以上是通过Few-Shot Prompting
Few-shot Prompting是一种为语言模型提供少量示例,以指导其对特定任务的响应。方法介于零样本学习(没有给出示例)和完全监督的微调(需要大量标记数据)之间。
换句话说,Few-shot Prompting 是在 Prompt 本身中为语言模型提供少量演示或示例的过程。这些示例用作指南,向模型展示如何处理和响应特定类型的任务或问题。当你提供这些例子时,你实际上是在对模型说,“在类似情况下,你应该如何应对。
说再多,不及动手跑起来!
第三部分:跑起来!一边跑一边聊代码细节!
本次实践的环境,与上篇一样!
操作系统:无要求,三大系统均可,演示使用win11
实践环境:minicodna、jupyter
大模型:openai api(当然可以本地啦)
知识图谱:Neo4j
RAG框架:langchain
激活conda环境!
conda activate medkg
进入jupyter环境,实操!
输入下方代码,会自动跳转到浏览器!
jupyter notebook
检查自己的key!
打开同目录下.env文件,检查自己的key,确保都填写正确!
打开实践代码!
代码,我们接着day5继续!整个操作非常简单,不习惯用jupyter的,你看自己怎么顺手怎么来,入门的朋友跟着雄哥走!
登录Neo4j,开启数据库!
太久没有登录,官方会把数据库自动释放了!所以需要登录开启!
开启后大概等待5分钟左右,才能继续!
登录方法不说了,自己回去看!
接下来,跟着雄哥的代码,延展!
因为上一篇,雄哥已经把数据都索引好了!
这次,直接分别创建两个tools!让Agent去决定,究竟调用哪个!
演示,没有做太多复杂编排,你可以用这个方法,做任何复杂编排!
第一个tools
专门回答员工类问题
@tool("employee-qa-tool", return_direct=True)``def employee_qa_tool(query: str) -> str:` `"""适用于回答有关在公司工作的员工的问题"""` `employee_details_chat_system_prompt = SystemMessagePromptTemplate(` `prompt=PromptTemplate(` `input_variables=["context"],` `template=employee_details_chat_template_str` `)` `)
测试是否能用:
第二个tools
专门回答订单、客户、产品类问题
@tool("general-qa-tool", return_direct=True)``def general_qa_tool(query: str) -> str:` `"""适用于回答有关订单、订单详情、发货人、客户和产品的常见问题."""` `response = cypher_chain.invoke(query)
测试是否能用:
打包两个tool!
稍后,agent会在我们编排好的tools中做决策!
注意!不是仅仅选择合适的tools,Agent还要生成这个tools的函数代码!
tools = [employee_qa_tool, general_qa_tool]
做编排器!
定义agent,做一个最基础的执行器!
这里类似OpenAI的方案,上面雄哥已经介绍过!
# 构建工具调用代理``agent = create_openai_functions_agent(llm, tools, agent_prompt)``# 通过传入代理和工具来创建代理执行器``agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
好!
现在跟着雄哥给他一个任务,看看能否工作!
问:数据库中最贵的产品是什么?
以上做了这些事:
动作一:执行Agent编排器
\> Entering new AgentExecutor chain...
动作二:找到正确的tools
Invoking: \`general-qa-tool\` with \`{'query': '数据库中最贵的产品是什么?'}\`
动作三:执行tools
\> Entering new GraphCypherQAChain chain...
动作四:生成tools的查询函数!去Neo4j中查数据!
Generated Cypher:
MATCH (p:Product)
RETURN p.productName AS product\_name, p.unitPrice AS unit\_price
ORDER BY unit\_price DESC
LIMIT 1
Full Context:
\[{'product\_name': 'Côte de Blaye', 'unit\_price': 263.5}\]
动作五:根据查询的实时结果输出回答
\> Finished chain.
最贵的产品是Côte de Blaye,价格为263.5。
就,如此简单!
发展飞快,真的希望你能掌握这个技能!
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。