开源开放 | 突破 RAG 局限,KAG 专业领域知识服务框架正式开源!

转载公众号 | SPG知识图谱


检索增强生成(RAG)技术推动了领域应用与大模型结合。然而,RAG 存在着向量相似度与知识推理相关性差距大、对知识逻辑(如数值、时间关系、专家规则等)不敏感等问题,这些都阻碍了专业知识服务的落地。

10 月 24 日,OpenSPG 发布 V0.5 版本,正式发布了知识增强生成(KAG)的专业领域知识服务框架。KAG 旨在充分利用知识图谱和向量检索的优势,并通过四个方面双向增强大型语言模型和知识图谱,以解决 RAG 挑战:

(1) 对 LLM 友好的知识表示

(2) 知识图谱与原文片段之间的互索引

(3) 逻辑符号引导的混合推理引擎

(4) 基于语义推理的知识对齐

KAG 在多跳问答任务中显著优于 NaiveRAG、HippoRAG 等方法,在 hotpotQA 上的 F1 分数相对提高了 19.6%,在 2wiki 上的 F1 分数相对提高了33.5%。

我们已成功将 KAG 应用于蚂蚁集团的两个专业知识问答任务,包括电子政务问答和电子健康问答,与 RAG 方法相比,专业性有了显著提高。用户可以基于开源的 KAG 编程框架可以自助基于私域知识库完成领域图谱的构建和知识问答。

KAG 地址:https://github.com/OpenSPG/KAG

创新点

2.1  LLM 友好的语义化知识管理

KAG 提出了一种对大型语言模型(LLM)友好的知识表示框架,在 DIKW(数据、信息、知识和智慧)的层次结构基础上,将 SPG 升级为对 LLM 友好的版本,命名为 LLMFriSPG。

这使得它能够在同一知识类型(如实体类型、事件类型)上兼容无 schema 约束的信息提取和有 schema 约束的专业知识构建,并支持图结构与原始文本块之间的互索引表示。

这种互索引表示有助于基于图结构的倒排索引的构建,并促进了逻辑形式的统一表示、推理和检索。同时通过知识理解、语义对齐等进一步降低信息抽取的噪声,提升知识的准确率和一致性。

440ab684554f5331fb52a6af940800fc.png

2.2  逻辑符号引导的混合推理引擎

KAG 提出了一种逻辑符号引导的混合求解和推理引擎。该引擎包括三种类型的运算符:规划、推理和检索,将自然语言问题转化为结合语言和符号的问题求解过程。

在这个过程中,每一步都可以利用不同的运算符,如精确匹配检索、文本检索、数值计算或语义推理,从而实现四种不同问题求解过程的集成:图谱推理、逻辑计算、Chunk 检索和 LLM 推理。

f6fdd11aab98b390f90ece8ad3f6af03.jpeg

2.3  用户友好的产品界面

KAG 还提供了一个用户友好的产品界面,支持用户在本地部署后,通过可视化界面进行文档上传和管理、预览抽取结果、以及知识问答。

在知识问答环节,系统不仅展示最终答案,还会呈现推理过程,从而增强了整个问答流程的透明度和可解释性。通过这个产品界面,用户能够更直观、更轻松地上手使用 KAG,下面通过视频为大家展示 KAG 产品如何使用:

未来计划

在 OpenSPG 的下一个版本中,将持续增强领域知识注入的能力,推动领域概念图与实例图的融合,实现行业领域知识、专家经验、业务规则与业务数据的结合;

其次,将发布 3B 规模的图谱构建&问答模型,提升构图&问答的效率,为 KAG 大规模应用奠定基础;

然后,持续降低知识图谱的构建成本,通过语义对齐降低领域知识注入成本,提升领域知识构建的准确率和覆盖率;

再次,还会进一步升级知识逻辑约束的幻觉抑制,增强复杂问题执行规划、答案判定的稳定性;

最后,不断迭代升级产品的核心能力,并及时修复已发现的问题,以确保稳定、可靠的用户体验。

KAG 共建

目前 KAG 还处于早期阶段,诚邀对知识服务和知识图谱技术感兴趣的用户和开发者加入我们,共建新一代 AI 引擎框架。我们建立了 OpenSPG 技术交流群,欢迎大家添加小助手微信加入:jqzn-robot。

GitHub

OpenSPG 是一个语义增强的可编程知识图谱:

https://github.com/OpenSPG/openspg

KAG 是一个知识增强生成的专业领域知识服务框架,KAG 依赖 OpenSPG 提供的引擎依赖适配、逻辑推理执行等能力:

https://github.com/OpenSPG/KAG

🌟 欢迎大家 Star 关注~ 


OpenKG

OpenKG(中文开放知识图谱)旨在推动以中文为核心的知识图谱数据的开放、互联及众包,并促进知识图谱算法、工具及平台的开源开放。

4902c91c9fef8407ad3373f03251d127.png

点击阅读原文,进入 OpenKG 网站。

### RAG框架概念 检索增强生成(Retrieval-Augmented Generation, RAG)是一种结合了传统信息检索技术和现代自然语言处理中的生成模型的方法。这种方法允许机器学习系统不仅依赖于训练数据内部的知识,还能动态访问外部知识源,在面对新问题时获取最新、最准确的信息[^4]。 RAG 技术特别适用于那些需要持续更新或扩展背景资料的任务场景,比如问答系统、对话代理以及文档摘要等应用。通过引入外部资源作为补充材料,可以有效地减少由纯神经网络预测带来的不确定性——即所谓的“幻觉”现象,从而提高输出内容的真实性和可靠性。 ### 开源实现汇总 #### 1. **RAGFlow** 作为一个新兴的开源项目,RAGFlow 致力于简化基于 RAG 架构的应用开发过程。此工具包提供了多个预先配置好的模块和支持自动化的工作流设计,使得开发者能够更便捷地集成各种类型的数据库和服务接口,进而加速原型搭建和技术验证的速度[^2]。 - 显著特性: - 提供了一套完整的预构建组件; - 支持多种主流的数据存储方案; - 集成了先进的索引机制以优化查询效率; ```python from ragflow import PipelineBuilder pipeline = PipelineBuilder().add_retriever('elasticsearch').add_generator('transformers') ``` #### 2. **基于ChatGLM 和LangChain 实现的大规模离线部署方案** 这类解决方案专注于为企业级用户提供安全可控且高效的本地化部署选项。借助强大的中文理解能力(如 ChatGLM),再加上灵活易用的应用编程接口(APIs),这套组合拳可以在不连接互联网的情况下完成复杂的语义理解和响应生成任务[^3]。 ```bash git clone https://github.com/your-repo/chatglm-langchain.git cd chatglm-langchain pip install -r requirements.txt python app.py ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值