微软开源用于专业领域问题的RAG系统:PIKE-RAG

项目简介

微软开源的一个用于专业领域问题的RAG系统:PIKE-RAG,它解决了传统RAG处理专业领域知识时的局限性,比较适合处理深度领域知识和多步逻辑推理的场景

它通过提取、理解和应用领域特定知识,并构建连贯的推理逻辑,逐步引导LLM)生成准确答案

PIKE-RAG包含文档解析、知识提取、知识存储、知识检索、知识组织、以知识为中心的推理以及任务分解和协调多个基本模块,通过调整子模块,来构建针对不同功能的 RAG 系统

已在医疗、工业制造、矿业等领域测试,显著提高了问答准确性

性能表现,在HotpotQA数据集上准确率87.6%;在2WikiMultiHopQA上准确率82.0%;在MuSiQue上准确率59.6%

近年来,检索增强生成(RAG)系统通过外部检索扩展了大型语言模型(LLM)的能力取得了显著进展。然而,这些系统在满足现实世界工业应用的复杂和多样化需求方面仍面临挑战。仅依靠直接检索不足以从专业语料库中提取深层领域特定知识并进行逻辑推理。为了解决这个问题,我们提出了 PIKE-RAG(sPecIalized KnowledgE and Rationale Augmented Generation)方法,该方法专注于提取、理解和应用领域特定知识,同时在构建连贯推理逻辑,逐步引导LLMs向准确响应。

Overview of PIKE-RAG Framework

PIKE-RAG 框架主要由几个基本模块组成,包括文档解析、知识提取、知识存储、知识检索、知识组织、以知识为中心的推理以及任务分解和协调。通过调整主模块内的子模块,可以实现专注于不同能力的 RAG 系统,以满足现实场景的多样化需求。

例如,在患者历史病历搜索的情况下,它侧重于事实信息检索能力。主要挑战是:(1) 知识理解和提取常因不恰当的知识分割而受阻,破坏语义连贯性,导致检索过程复杂且效率低下;(2) 基于嵌入的知识检索受限于嵌入模型对专业术语和别名的对齐能力,降低了系统精度。通过 PIKE-RAG,我们可以在知识提取过程中使用上下文感知分割技术、自动术语标签对齐技术和多粒度知识提取方法,从而提高知识提取和检索的准确性,如以下流程图所示。

A Pipeline Focusing on Factual Information Retrieval

对于像为患者制定合理的治疗方案和应对措施建议这样的复杂任务,需要更高级的能力:需要强大的领域专业知识来准确理解任务,有时还需要合理分解它;还需要高级的数据检索、处理和组织技术来进行潜在趋势预测;而多智能体规划也将有助于考虑创造性和依赖性。在这种情况下,可以初始化一个更丰富的流程来实现这一点。

A Pipeline Focusing on Fact-based Innovation and Generation

在公开基准测试中,PIKE-RAG 在多个多跳问答数据集上表现出色,例如 HotpotQA、2WikiMultiHopQA 和 MuSiQue。与现有基准方法相比,PIKE-RAG 在准确率和 F1 分数等指标上表现出色。在 HotpotQA 数据集上,PIKE-RAG 达到了 87.6%的准确率,在 2WikiMultiHopQA 上达到了 82.0%,而在更具挑战性的 MuSiQue 数据集上,它实现了 59.6%。这些结果表明,PIKE-RAG 在处理复杂推理任务方面具有显著优势,尤其是在需要整合多源信息和执行多步推理的场景中。

PIKE-RAG 经过测试,在工业制造、采矿和制药等领域显著提高了问答准确率。未来,我们将继续探索其在更多领域的应用。此外,我们还将继续探索其他形式的知识和逻辑,以及它们在特定场景中的最佳适应。

快速开始

  1. 克隆此仓库并设置 Python 环境,请参阅此文档

  2. 创建一个 .env 文件以保存您的端点信息(以及如果需要的话,一些其他环境变量),请参阅此文档

  3. 修改 yaml 配置文件,并在 examples/目录下尝试脚本,参考此文档;

  4. 构建您自己的管道和/或添加您自己的组件!

项目链接

https://github.com/microsoft/PIKE-RAG

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

### Memory-Augmented RAG 技术原理 Memory-Augmented RAG (Retrieval-and-Generation) 是一种增强型架构,在传统RAG基础上引入外部记忆机制,旨在提升模型处理复杂对话和长期依赖的能力。这种架构不仅利用了检索到的信息作为上下文输入给生成器,还通过额外的记忆组件存储过往交互记录以及重要知识点[^1]。 具体来说,当面对一个问题时,系统会先执行一次初步检索操作以获得最相关的文档片段;与此同时,访问内部维护的一个持久化数据库——即所谓的“memory store”。该store可以保存之前已经学习过的事实性陈述、用户偏好或者其他任何形式的知识积累。随后,这些来自不同源的数据会被融合起来供后续解码阶段使用,使得最终产生的回复更加精准且连贯[^5]。 对于技术实现而言,Memory-Augmented RAG通常涉及以下几个核心要素: - **高效索引结构**:为了快速定位所需资料,必须设计合理的索引方案以便于支持即时查询需求。 - **动态更新策略**:随着新信息不断涌入,如何保持内存内容的有效性和时效性成为一大挑战。因此需要制定一套完善的规则体系用于管理新增条目与过期项之间的平衡关系。 - **多模态集成能力**:考虑到实际场景下的多样性,除了纯文本外,图像、音频等多种形式的内容也应被纳入考量范畴之内,进而拓宽系统的感知边界[^2]。 ```python class MemoryAugmentedRAG: def __init__(self, memory_store): self.memory_store = memory_store def retrieve(self, query): # 执行常规检索流程... # 同步读取关联记忆单元 related_memories = self.memory_store.get_related_entries(query) return combined_context def generate_response(self, context): pass # 实现响应生成逻辑 ``` ### 应用场景分析 在客服机器人领域,Memory-Augmented RAG可以帮助机器更好地理解客户意图,并给出更为个性化的建议和服务体验。例如,在线旅游平台可以根据游客的历史浏览行为推荐相似目的地或活动项目;电商平台则能依据购买历史预测潜在兴趣商品并适时推送促销优惠信息[^3]。 教育辅助工具同样可以从这项技术创新中受益匪浅。教师可以通过定制专属的学习路径引导学生逐步掌握课程要点;而学生们也能借助内置的智能导师随时解答疑惑,巩固薄弱环节,形成良性循环的学习模式[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值