项目简介
微软开源的一个用于专业领域问题的RAG系统:PIKE-RAG,它解决了传统RAG处理专业领域知识时的局限性,比较适合处理深度领域知识和多步逻辑推理的场景
它通过提取、理解和应用领域特定知识,并构建连贯的推理逻辑,逐步引导LLM)生成准确答案
PIKE-RAG包含文档解析、知识提取、知识存储、知识检索、知识组织、以知识为中心的推理以及任务分解和协调多个基本模块,通过调整子模块,来构建针对不同功能的 RAG 系统
已在医疗、工业制造、矿业等领域测试,显著提高了问答准确性
性能表现,在HotpotQA数据集上准确率87.6%;在2WikiMultiHopQA上准确率82.0%;在MuSiQue上准确率59.6%
近年来,检索增强生成(RAG)系统通过外部检索扩展了大型语言模型(LLM)的能力取得了显著进展。然而,这些系统在满足现实世界工业应用的复杂和多样化需求方面仍面临挑战。仅依靠直接检索不足以从专业语料库中提取深层领域特定知识并进行逻辑推理。为了解决这个问题,我们提出了 PIKE-RAG(sPecIalized KnowledgE and Rationale Augmented Generation)方法,该方法专注于提取、理解和应用领域特定知识,同时在构建连贯推理逻辑,逐步引导LLMs向准确响应。
PIKE-RAG 框架主要由几个基本模块组成,包括文档解析、知识提取、知识存储、知识检索、知识组织、以知识为中心的推理以及任务分解和协调。通过调整主模块内的子模块,可以实现专注于不同能力的 RAG 系统,以满足现实场景的多样化需求。
例如,在患者历史病历搜索的情况下,它侧重于事实信息检索能力。主要挑战是:(1) 知识理解和提取常因不恰当的知识分割而受阻,破坏语义连贯性,导致检索过程复杂且效率低下;(2) 基于嵌入的知识检索受限于嵌入模型对专业术语和别名的对齐能力,降低了系统精度。通过 PIKE-RAG,我们可以在知识提取过程中使用上下文感知分割技术、自动术语标签对齐技术和多粒度知识提取方法,从而提高知识提取和检索的准确性,如以下流程图所示。
对于像为患者制定合理的治疗方案和应对措施建议这样的复杂任务,需要更高级的能力:需要强大的领域专业知识来准确理解任务,有时还需要合理分解它;还需要高级的数据检索、处理和组织技术来进行潜在趋势预测;而多智能体规划也将有助于考虑创造性和依赖性。在这种情况下,可以初始化一个更丰富的流程来实现这一点。
在公开基准测试中,PIKE-RAG 在多个多跳问答数据集上表现出色,例如 HotpotQA、2WikiMultiHopQA 和 MuSiQue。与现有基准方法相比,PIKE-RAG 在准确率和 F1 分数等指标上表现出色。在 HotpotQA 数据集上,PIKE-RAG 达到了 87.6%的准确率,在 2WikiMultiHopQA 上达到了 82.0%,而在更具挑战性的 MuSiQue 数据集上,它实现了 59.6%。这些结果表明,PIKE-RAG 在处理复杂推理任务方面具有显著优势,尤其是在需要整合多源信息和执行多步推理的场景中。
PIKE-RAG 经过测试,在工业制造、采矿和制药等领域显著提高了问答准确率。未来,我们将继续探索其在更多领域的应用。此外,我们还将继续探索其他形式的知识和逻辑,以及它们在特定场景中的最佳适应。
快速开始
-
克隆此仓库并设置 Python 环境,请参阅此文档
-
创建一个
.env
文件以保存您的端点信息(以及如果需要的话,一些其他环境变量),请参阅此文档 -
修改 yaml 配置文件,并在 examples/目录下尝试脚本,参考此文档;
-
构建您自己的管道和/或添加您自己的组件!
项目链接
https://github.com/microsoft/PIKE-RAG
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。