蚂蚁 KAG 环境部署、技术实践和全部复现(面向用户)

前言:本文详细介绍 蚂蚁 KAG 的环境部署、技术实践和全部复现(面向用户),后续该系列继续更新<面向开发者的技术实践或应用>,敬请关注~


目录

一、蚂蚁 KAG 介绍

①  KAG 的介绍:可以通过开源项目查看

② KAG 的前身是 RAG,RAG 是什么?

③ KAG 基于 RAG 迭代(11 月发布),主体由三部分组成: KAG-builder、KAG-solver 和KAG-Model,涵盖知识图谱,文档块或语义块分割、检索增强、大模型多个前沿技术集成

二、KAG 技术实践和复现(面向用户)详细步骤

① 完成引擎&依赖的镜像安装

② 最终一路走到这里,能看到版本号说明 docker 可以使用

③ 然后需要下载 Docker Compose,具体是下载 docker-compose-windows-x86_64.exe 

④ 验证 docker-compose 是否装成功

⑤ 设置 HOME 环境变量(仅 Windows 用户需要执行)

⑥ 在使用 curl 命令下载 docker-compose-west.yml 之前

⑦ 用 docker-compose 启动服务

⑧ 进入 http://127.0.0.1:8887 查看产品界面,如下:

⑨ 进一步配置知识库,即可使用

三、附录参考:Docker 必备知识及相关教程

① 关于 docker 和 docker compose 的介绍

② 关于 Docker Compose的安装,包括 Linux 和 Windows 安装、以及如何去制作一个docker-compose.yml 文件、yml配置项的解释、Docker Compose 常用命令的讲解相关介绍

③ Curl 命令解析码的介绍


一、蚂蚁 KAG 介绍

①  KAG 的介绍:可以通过开源项目查看

  • KAG 论文地址: https://arxiv.org/pdf/2409.13731
  • KAG 项目地址: https://github.com/OpenSPG/KAG

KAG 是 基于 OpenSPG 引擎和大型语言模型的逻辑推理问答框架,用于构建垂直领域知识库的逻辑推理问答解决方案。KAG 可以有效克服传统 RAG 向量相似度计算的歧义性和 OpenIE 引入的 GraphRAG 的噪声问题。KAG 支持逻辑推理、多跳事实问答等,并且明显优于目前的 SOTA 方法。

KAG 的目标是在专业领域构建知识增强的 LLM 服务框架,支持逻辑推理、事实问答等KAG 充分融合了 KG 的逻辑性和事实性特点,其核心功能包括:

  • 知识与 Chunk 互索引结构,以整合更丰富的上下文文本信息
  • 利用概念语义推理进行知识对齐,缓解 OpenIE 引入的噪音问题
  • 支持 Schema-Constraint 知识构建,支持领域专家知识的表示与构建
  • 逻辑符号引导的混合推理与检索,实现逻辑推理和多跳推理问答

② KAG 的前身是 RAG,RAG 是什么?

1、 RAG:检索生成增强生成

一句话总结:外部语料库知识+内部参数知识=>生成内容(如图)

第一部分:主要指的是投入问题后,结合外部语料库进行信息检索,抽取出文档列表

第二部分:主要是通过大语言模型参数优化和调整,针对性输出生成内容

2、 难点:跨领域跨任务泛化性高;推理开销大,这主要是因为上下文空间有限,且对排

序精度和鲁棒性要求高

③ KAG 基于 RAG 迭代(11 月发布),主体由三部分组成: KAG-builder、KAG-solver 和KAG-Model,涵盖知识图谱,文档块或语义块分割、检索增强、大模型多个前沿技术集成

 KAG-builder、KAG-solver 和 KAG-Model 的模块逻辑关系:

 针对大模型友好的知识表示及专家规则定义:

 

 推理过程的子问题拆解及知识增强:

有可视化图谱界面,可以直观看到结果(第二部分有展示复现效果图): 


二、KAG 技术实践和复现(面向用户)详细步骤

① 完成引擎&依赖的镜像安装

点击官方链接(Get Docker | Docker Docs),进入可选择 windows 版本进行安装:

勾选并 OK 就可以了,后续安装配置步骤比较繁杂(参考教程:windows docker 桌面版的安装与使用 - 小白兔晒黑了 - 博客园),需要注意里边提到的细节:


② 最终一路走到这里,能看到版本号说明 docker 可以使用


③ 然后需要下载 Docker Compose,具体是下载 docker-compose-windows-x86_64.exe 

下载官方地址:https://github.com/docker/compose/releases/download/v2.17.2/docker-compose-Windows-x86_64.exeicon-default.png?t=O83Ahttps://github.com/docker/compose/releases/download/v2.17.2/docker-compose-Windows-x86_64.exe

下载完后重命名为 docker-compose.exe 丢到 C:\Program Files\Docker 下就可以。如下图:

注意:上述的 exe 只能以cmd形式运行,双击打开无效


④ 验证 docker-compose 是否装成功


⑤ 设置 HOME 环境变量(仅 Windows 用户需要执行)

set HOME=%USERPROFILE%

此命令将 $HOME 变量设置为用户目录的路径,通常为 C:\Users\username,例如:


⑥ 在使用 curl 命令下载 docker-compose-west.yml 之前

curl -sSL https://raw.githubusercontent.com/OpenSPG/openspg/refs/heads/master/dev/release/docker-compose-west.yml -o docker-compose-west.yml
需要更改 Docker 这个文件夹的权限(否则会报错:curl: (23) client returned ERROR on write of 2102 bytes),这个非常重要,另外 VPN 最好开着:

然后再去执行 curl 命令即可。


⑦ 用 docker-compose 启动服务

docker-compose -f docker-compose-west.yml up -d

如下图效果所示:

上述命令执行结束即完成服务端启动:


⑧ 进入 http://127.0.0.1:8887 查看产品界面,如下:

默认的账号和密码如下,可以用来直接登录:

# Default login information:
# Username: openspg
# Default password: openspg@kag

登录后会让自行改个密码,登录后界面如下:


进一步配置知识库,即可使用


三、附录参考:Docker 必备知识及相关教程

① 关于 docker 和 docker compose 的介绍

Docker | 初次认识Docker并理解Docker中的镜像、容器、仓库概念_docker 容器 镜像 实例 概念-CSDN博客文章浏览阅读1.5k次,点赞57次,收藏13次。docker理念一次镜像 处处运行解决了运行环境和配置问题的软件容器,方便做持续集成并有助于整体发布的容器虚拟化技术。_docker 容器 镜像 实例 概念https://blog.csdn.net/HG0724/article/details/143207981


② 关于 Docker Compose的安装,包括 Linux 和 Windows 安装、以及如何去制作一个docker-compose.yml 文件、yml配置项的解释、Docker Compose 常用命令的讲解相关介绍

https://juejin.cn/post/7220730324752859195icon-default.png?t=O83Ahttps://juejin.cn/post/7220730324752859195


③ Curl 命令解析码的介绍

curl命令状态码详解curl是一个强大的命令,我们经常使用它,通过向curl发送地址和端口号来确定目标链接的状态,下面列出了curl返回的状态代码icon-default.png?t=O83Ahttps://sz.togogo.net/news/4735.html

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

白白净净吃了没病

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值