Graphusion框架革新RAG领域:构建知识图谱新架构,探讨LongRAG双视角检索增强生成新范式

本文继续看RAG前沿进展,围绕RAG,介绍2个工作,一个是RAG与知识图谱结合:全局视角的知识图谱构建RAG框架Graphusion,重点看看其使用RAG做推理补全;一个是长文本RAG:LongRAG双视角检索增强生成范式,可以看看其分阶段的思路和prompt的设计。

一、RAG与知识图谱结合:全局视角的知识图谱构建RAG框架Graphusion

大模型已被用于知识图谱构建(KGC)。然而,大多数现有方法关注的是局部视角,从单个句子或文档中抽取知识三元组,缺少一个融合过程以全局视角组合知识。

《Graphusion: A RAG Framework for Knowledge Graph Construction with a Global Perspective》。https://arxiv.org/abs/2410.17600,介绍了一种具有全局视角的知识图谱构建RAG框架,包含三个步骤:第一步使用主题建模提取种子实体列表,以指导最终的KG包含最相关的实体;第二步使用LLMs进行候选三元组抽取;第三步融合模块提供了所抽取知识的全局视图,这里才有RAG的影子,包括实体合并、冲突解决和新三元组发现。

注意,这里的融合RAG的部分,其实就是Graphusion通过引入RAG来提升新三元组发现的性能

现在具体来看看细节:

1、种子实体生成

首先,利用BERTopic进行主题建模,识别每个主题的代表性实体作为种子实体。

这些种子实体确保了实体提取的高相关性和精度。

这块具体实现参考:https://www.semanticscholar.org/paper/BERTopic%3A-Neural-topic-modeling-with-a-class-based-Grootendorst/5493aefc07e331045be76003ea516aef57f76cb9

首先对ACL会议论文集的摘要进行预处理,去除短于25个词的句子,以确保文本质量。

其次,使用BERTopic模型对预处理后的文本进行主题建模,识别出每个主题的核心实体。这些核心实体作为种子实体,用于后续的实体提取和三元组提取。

最后,将BERTopic输出的每个主题的代表性实体被选为种子实体,这些种子实体确保了实体提取的高相关性和精度,为后续的三元组提取提供了良好的起点。

2、候选三元组提取

其次,使用LLMs从自由文本中提取候选三元组。

这个部分设计了一个Chain-of-Thought (CoT) 提示,首先让LLMs提取领域内的实体,然后确定这些实体之间的可能关系,并发现新的三元组。

在这里插入图片描述

这个可以对比GraphRAG的抽取方式:

3、知识图谱融合

融合模块,对多个局部子图进行全局合并和解决冲突,形成一个大连接的知识图谱。

融合步骤包括实体合并、冲突解决和新三元组推断。

首先,实体合并。 对于从自由文本中提取的多个局部子图,Graphusion首先合并语义相似的实体。

具体来说,如果两个实体在语义上相似或指向同一实体,则将它们合并为一个实体,保留更有意义或具体的那个。

其次,冲突解决。 在合并过程中,可能会遇到实体关系冲突的情况。Graphusion通过查阅背景文本,帮助解决这些冲突。

这个就是里面的“### Backgrdound”部分的内容。

对于每对实体,选择最佳的关系,确保最终的知识图谱中的关系是准确和一致的。

最后,融合RAG的新三元组推断:

除了合并和解决冲突外,Graphusion还可以从检索到的内容中推断出新的三元组,这些新三元组补充了原始提取的三元组,进一步丰富知识图谱的内容。

这一步也通过prompt实现:

外部知识库也可以进一步分为3种形式:

Doc.提供领域内的相关自由文本;

Con.提供添加训练集中的一跳相邻实体作为与查询实体相关的附加信息。

Wiki.提供合并每个查询实体的维基百科页面的介绍性段落。

二、长文本RAG:LongRAG双视角检索增强生成范式

RAG进展,现有RAG方法在长上下文信息收集不完整和关键事实细节识别困难的问题,可以引入两个关键组件,LLM增强信息提取器和CoT引导过滤器。

《LongRAG: A Dual-Perspective Retrieval-Augmented Generation Paradigm for Long-Context Question Answering》,https://arxiv.org/abs/2410.18050, https://github.com/QingFei1/LongRAG,可以看看具体思路:LLM增强信息提取器通过将短格式块映射回源长上下文段落,使用零样本上下文学习(ICL)从源段落中提取全局信息,从而解决了长上下文信息收集不完整的问题。CoT引导过滤器则利用链式思维(CoT)生成全局线索,指导LLMs逐步关注相关知识点,帮助识别关键事实细节,从而解决了关键事实细节识别困难的问题。

LongRAG系统包括以下几个主要组件:

1、混合检索器(Hybrid Retriever)

负责从长文本语料库中检索与问题最相关的片段。

混合检索器使用双编码器结构,一个用于粗粒度检索,另一个用于细粒度检索,以快速从长文本中检索相关信息片段。

这个过程涉及到对长文本进行分割,并将句子作为最小的分割单位,使用滑动窗口策略来保持语义连贯性。

这种设计的优势在于:粗粒度检索可以快速覆盖大量相关文档,而细粒度检索则可以在粗粒度检索的基础上进一步捕捉文档中的深层语义关系。

2、LLM增强信息提取器(LLM-augmented Information Extractor)

将检索到的片段映射回源长文本段落,并提取全局信息。

这个组件将检索到的片段映射回它们在源长文本段落中的位置,然后提取全局信息。这样做的目的是恢复长文本的上下文,以便更好地理解问题相关的背景和结构信息。

3、CoT引导过滤器(CoT-guided Filter)

使用Chain of Thought(CoT)来指导过滤器,精确识别包含关键事实细节的片段,指导LLMs逐步关注相关知识点。

4、LLM增强生成器(LLM-augmented Generator)

结合全局信息和事实细节生成最终答案。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值