一种将RAG、KG、VS、TF结合增强领域LLM性能的框架

最新推荐文章于 2024-11-09 18:03:01 发布
最新推荐文章于 2024-11-09 18:03:01 发布
阅读量683 收藏 10
点赞数 8
文章标签： 人工智能 prompt agi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AIBigModel/article/details/142759587
版权

SMART-SLIC框架：旨在将RAG结合向量存储（Vector Stores）、知识图谱（Knowledge Graphs）和张量分解（Tensor Factorization）来增强特定领域的大型语言模型（LLMs）的性能。

SMART-SLIC系统框架

图片

SMART-SLIC框架的关键组成部分和操作流程：包括构建特定领域的数据集、知识图谱本体论、向量存储以及检索增强生成（RAG）过程：

A. 特定领域的数据集：

  • 项目从由主题专家（SMEs）选定的核心文档开始，这些文档代表了想要构建数据集的特定领域。

  • 利用SCOPUS、Semantic Scholar和OSTI等授权API，通过引用和参考文献网络扩展数据集。

  • 为了保持核心数据集的中心质量和主题一致性，采用了几种修剪策略来删除与核心文档无关的文档。

B. 降维：

  • 通过非负张量分解从数据集中提取潜在结构，使用T-ELF工具进行文档聚类，并自动确定最佳聚类数量。

C. 知识图谱本体论：

  • 将T-ELF提取的特征和文档元数据映射成一系列头、实体和尾关系，形成方向三元组，然后注入Neo4j知识图谱。

  • 知识图谱包含了文档元数据以及从文档中提取的潜在特征。

D. 向量存储组装：

  • 将文档向量化后存入Milvus向量数据库，以支持RAG过程。

  • 文档的全文被分割成较小的段落，并且每个段落都被赋予一个整数ID，以指示其在原始文档中的位置。

E. 检索增强生成RAG：

  • SMART-SLIC RAG实现：

SMART-SLIC框架中的RAG实现依赖于知识图谱（KG）和向量存储（VS）来提供结构化和非结构化的领域特定信息。

当用户提出问题时，LLM首先将查询转化为向量嵌入，然后与现有文本进行比较以找到最相似的文本。

检索到的信息被添加到原始查询中，LLM利用这些上下文信息生成相关答案。

最后，LLM以自然语言构建最终答案，向用户解释答案。

RAG流程图

图片

  • 问题路由流程：

SMART-SLIC采用问题路由流程来确定用户查询的类型，并根据查询类型选择相应的处理工具和流程。

问题分为“通用查询”和“特定文档查询”。通用查询调用ReAct Agent处理流程。

特定文档查询则调用检索查询或合成查询。

理解用户的问题对于将信息路由到适当的工具集和后续流程至关重要。

用户查询路由概览

图片

  • ReAct Agent处理流程：

ReAct Agent处理流程包括ReAct Agent、工具执行器和结束节点。

ReAct Agent负责收集输入、做出可操作的决策并解释结果。

工具执行器接收来自代理的工具名称和输入参数，调用相应的功能并返回输出。

结束节点标志着Reason-Act循环的完成，将最终输出返回给用户。

ReAct Agent的节点和工具

图片

SMART-SLIC框架在实际应用中的表现，并提供了评估结果：

A. 数据集：

  • 初始选择了30篇由主题专家（SME）挑选的、专注于大规模恶意软件分析和异常检测领域的文档作为核心文档。

  • 通过引用和参考文献网络对数据集进行了两次扩展，最终得到8790篇科学出版物构成的数据集。

B. 潜在特征提取：

  • 使用T-ELF对数据集进行张量分解，确定了25个主题聚类作为所有评估k值中的最佳划分。

  • 分解过程使用了高性能计算资源，整个过程大约耗时2小时。

图片

C. 向量存储：

  • 将8790篇文档向量化后存入Milvus向量数据库。

  • 其中22%的文档有全文文本，这些也被向量化并存入Milvus。

D. 知识图谱：

  • 从T-ELF输出的25个聚类中，格式化数据为1,457,534个三元组，并注入知识图谱。

  • 知识图谱中包含了321,122个节点和1,136,412条边关系。

知识图谱Schema

图片

关键词“网络犯罪”的图形搜索。返回单个关键词（绿色）以及相关联的文档（浅蓝色）。文档还链接了附属机构（黄色）和机构所在的国家（红色）。

图片

E. 问答验证：

  • 使用文档特定问题和主题特定问题对系统进行了零样本条件下的问答测试。

  • 比较了使用GPT-4-instruct模型在有无RAG框架的情况下的回答性能。

  • 结果显示，使用RAG时，GPT-4-instruct模型回答问题的准确率达到97%，而没有使用RAG时，模型有40%的问题未回答，回答的问题准确率仅为20%。

F. 复杂问题解答：

  • 还测试了更复杂的问题，这些问题需要通过各种检索方法进行彻底搜索。

  • SME提出了几个问题，使用SMART-SLIC RAG流程得到的回答与SME选择的DOI一致，证明了代理在检索相关来源方面的准确性。

  • 没有使用RAG时，LLM的回答不准确，存在编造答案的情况，且未提供DOI引用，降低了信息的可信度。

两种问题类型，文档和主题，展示了使用SMART-SLIC RAG和不使用RAG时，LLM的尝试百分比和正确百分比。

图片

https://arxiv.org/pdf/2410.02721Domain-Specific Retrieval-Augmented GenerationUsing Vector Stores, Knowledge Graphs, and Tensor Factorization

来源 | PaperAgent

AIBigModel
关注
模块化RAG技术路线图(Modular RAG Technical Map)：从基础Naive RAG 到高级Advanced，再到Modular RAG全方位技术解读
丨汀、的博客
08-27 480
模块化RAG技术路线图(Modular RAG Technical Map)：从基础Naive RAG 到高级Advanced，再到Modular RAG全方位技术解读
LLM OS 中的自然语言搜索引擎
AI天才研究院
08-23 626
在人工智能和自然语言处理技术飞速发展的今天，大语言模型（Large Language Models，简称LLM）已经成为了推动技术革新的重要力量。随着LLM在各个领域的广泛应用，一个革命性的概念应运而生——LLM OS（Large Language Model Operating System）。这种新型操作系统以大语言模型为核心，旨在彻底改变人机交互的方式，使计算机能够更好地理解和执行用户的自然语言指令。在LLM OS中，自然语言搜索引擎扮演着至关重要的角色。
模块化的RAG和RAG流程：第一部分
myboyliu2007的专栏
01-29 1241
以上，我们可以看到RAG的快速发展已经超越了链式高级RAG范式，展示了模块化的特点。为了解决当前的组织和抽象不足，我们提出了一种模块化的RAG方法，无缝地集成了天真RAG和高级RAG的开发范式。模块化RAG呈现出一种高度可扩展的范式，将RAG系统划分为模块类型、模块和运算符的三层结构。每个模块类型代表RAG系统中的核心流程，包含多个功能模块。每个功能模块又包含多个具体的运算符。整个RAG系统成为多个模块和相应操作符的排列组合，形成我们所称的RAG流程。
从0到精通，读懂这一篇就够了，RAG：检索增强的前世今生
人工智能讲师分享前沿技术
09-26 785
Moritz Wallawitsch，RemNote（一款利用人类记忆曲线等神经科学规律帮助学生学习知识的app）联创（General Catalyst支持），ZFellow（创业辅导），Prod.so（面向哈佛、MIT等名校学生的创业孵化器）合伙人，Emergent Ventures风投基金合伙人。
Meta发布视频生成模型Movie Gen及RAG前沿总结：迭代式RAG、KG增强及领域数据注入大模型思路
lyy2017175913的博客
10-06 1742
本文主要回顾了三个话题，关于迭代式RAG的几种思路、特定领域数据注入到大模型的方式以及关于基于图谱的RAG增强方式。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！😝有需要的小伙伴，可以保存图片到。
模块化RAG：RAG新范式，像乐高一样搭建 万字长文
mama19971023的博客
08-06 1346
在现代计算系统中，模块化正成为一种趋势。能够增强系统的可扩展性和可维护性，并通过流程控制实现高效的任务执行。模块化 RAG 架构分为三个层级：• 顶层聚焦于 RAG 的关键阶段，其中每个阶段都视作一个独立的模块。该层级不仅继承了高级 RAG 范式的主要流程，还引入了一个编排模块来调控 RAG 流程的协同。• 中间层由每个模块内的子模块组成，进一步细化和优化功能。• 底层由基本操作单元——操作符构成。在模块化 RAG 框架内，RAG 系统能够以计算图的形式呈现，其中节点代表特定的操作符。
2024检索增强生成RAG最新综述
python1234_的博客
06-11 1086
人工智能生成内容（AIGC）的发展得益于模型算法的进步、基础模型规模的增加以及大量高质量数据集的可用性。虽然AIGC取得了显著的性能，但仍面临一些挑战，如难以保持最新和长尾知识、数据泄露的风险以及与训练和推理相关的高成本。检索增强生成（RAG）最近出现作为一种范式来解决这些挑战。具体而言，RAG引入信息检索过程，通过从可用数据存储中检索相关对象来增强生成过程，从而提高准确性和鲁棒性。本文全面审查了将RAG技术整合到AIGC场景中的现有努力。
增强检索问答RAG研究成果综述 Retrieval-Augmented Generation for AI-Generated Content: A Survey
数智笔记
04-03 1255
论文地址：https://arxiv.org/abs/2402.19473项目存储库：https://github.com/hymie122/RAG-SurveyPenghao Zhao, Hailin Zhang, Qinhan Yu, Zhengren Wang, Yunteng Geng, Fangcheng Fu, Ling Yang, Wentao Zhang, Bin Cui, Fellow, IEEE摘要—人工智能生成内容（AIGC）的发展得益于模型算法的进步、基础模型规模的增加以及大量高质量
RAG 的优化方案及评估
Z4400840的博客
09-02 1024
笔者大概在2-3个月前开始进行 RAG 项目并学习RAG，通过查看相关资料和论文，并结合笔者的个人应用体验，总结了目前的一些针对RAG框架的优化方案。希望能帮助到和我一样的初学者。
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG-优质大模型部署项目实战
10-20
RAG部署_使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG_优质大模型部署项目实战
讲解如何使用RAG（检索增强生成）和LLM（大语言模型）来构建一个法律咨询网站。
Winfredzhang的博客
06-02 1066
文档预处理：将法律文档转化为向量，存储在Faiss向量数据库中。文档检索：根据用户问题检索相关文档。提取重要段落：从相关文档中提取与用户问题相关的重要段落。生成答案：使用OpenAI的GPT-4生成详细回答。前后端构建：使用Flask构建后端API，用HTML和JavaScript构建简单的前端页面。通过这些步骤，即使是初学者也能逐步理解和实现一个利用RAG+LLM技术的法律咨询网站。
RAG与LLM原理及实践（2）--- RAG结合LLM function调用的原理及落地实践
talentyiyy的专栏
06-21 1424
在这两者结合的过程中，你要知道一件事，那就是LLM大模型必须知道你所提出的问题，在什么时候需要 LLM来回答， 什么时候需要 RAG 来回答，才是比较好的结果，prompt 起着至关重要的作用。一方面，RAG的专家知识库上因为加入了LLM，而使得RAG对应更自然，不再是生硬的回答，借助LLM，可以帮助RAG的回答润色。我们可以看到我们自己定义了专业的函数，这就相当于是 RAG，他的 "description": "当你想知道现在的时间时非常有用。" "一个小时后几点" "北京天气如何？
RAG与LLM原理及实践（3）--- RAG结合LLM的local实现并附完整代码
talentyiyy的专栏
06-22 1167
其实LLM结合RAG的方式可以有很多种，但是原理都是上一节介绍的，其实本质上就是要LLM知道，哪一类问题‘我’的回答是满足提问者要求的，哪一类问题‘我’可能回答的没有RAG好，‘我’可以借助‘RAG’，并将答案修饰形成提问者需要的风格进行予以转述，并回答。下面直接上 python 代码完整实现本地的RAG+LLM，并解释其实现。
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
ai_xiaogui的博客
11-07 457
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
探索App Intents：让你的应用与Siri无缝互动的新方式
最新发布
jixn的博客
11-09 1583
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
一次薅国家超算平台的记录
weixin_55179972的博客
11-07 407
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
在后LLM时代，关于新一代智能体的思考
langboat_mengzi的博客
11-07 791
同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。
Yolo11实战改进：一文读懂Yolo11到实战。
m0_47867638的博客
11-09 597
YOLO11是Ultralytics YOLO系列实时目标检测器的最新迭代版本，它以尖端的精度、速度和效率重新定义了可能性。在之前YOLO版本令人瞩目的进步基础上，YOLO11在架构和训练方法上引入了重大改进，使其成为各种计算机视觉任务的通用选择。关键特性：YOLO11采用改进的主干网络和颈部架构，提高了特征提取能力，以实现更精确的目标检测和更复杂的任务性能。YOLO11引入了精细的架构设计和优化的训练流程，提供了更快的处理速度，并在准确性和性能之间保持了最佳平衡。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值