一种将RAG、KG、VS、TF结合增强领域LLM性能的框架

于 2024-10-07 15:35:43 发布
阅读量451 收藏 11
点赞数 17
文章标签： 人工智能 agi 语言模型 ai LLM RAG TF
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gaga246/article/details/142741402
版权

前言

SMART-SLIC框架：旨在将RAG结合向量存储（Vector Stores）、知识图谱（Knowledge Graphs）和张量分解（Tensor Factorization）来增强特定领域的大型语言模型（LLMs）的性能。

SMART-SLIC系统框架

SMART-SLIC框架的关键组成部分和操作流程：包括构建特定领域的数据集、知识图谱本体论、向量存储以及检索增强生成（RAG）过程：

A. 特定领域的数据集：

  • 项目从由主题专家（SMEs）选定的核心文档开始，这些文档代表了想要构建数据集的特定领域。

  • 利用SCOPUS、Semantic Scholar和OSTI等授权API，通过引用和参考文献网络扩展数据集。

  • 为了保持核心数据集的中心质量和主题一致性，采用了几种修剪策略来删除与核心文档无关的文档。

B. 降维：

  • 通过非负张量分解从数据集中提取潜在结构，使用T-ELF工具进行文档聚类，并自动确定最佳聚类数量。

C. 知识图谱本体论：

  • 将T-ELF提取的特征和文档元数据映射成一系列头、实体和尾关系，形成方向三元组，然后注入Neo4j知识图谱。

  • 知识图谱包含了文档元数据以及从文档中提取的潜在特征。

D. 向量存储组装：

  • 将文档向量化后存入Milvus向量数据库，以支持RAG过程。

  • 文档的全文被分割成较小的段落，并且每个段落都被赋予一个整数ID，以指示其在原始文档中的位置。

E. 检索增强生成RAG：

  • SMART-SLIC RAG实现：

SMART-SLIC框架中的RAG实现依赖于知识图谱（KG）和向量存储（VS）来提供结构化和非结构化的领域特定信息。

当用户提出问题时，LLM首先将查询转化为向量嵌入，然后与现有文本进行比较以找到最相似的文本。

检索到的信息被添加到原始查询中，LLM利用这些上下文信息生成相关答案。

最后，LLM以自然语言构建最终答案，向用户解释答案。

RAG流程图

  • 问题路由流程：

SMART-SLIC采用问题路由流程来确定用户查询的类型，并根据查询类型选择相应的处理工具和流程。

问题分为“通用查询”和“特定文档查询”。通用查询调用ReAct Agent处理流程。

特定文档查询则调用检索查询或合成查询。

理解用户的问题对于将信息路由到适当的工具集和后续流程至关重要。

用户查询路由概览

  • ReAct Agent处理流程：

ReAct Agent处理流程包括ReAct Agent、工具执行器和结束节点。

ReAct Agent负责收集输入、做出可操作的决策并解释结果。

工具执行器接收来自代理的工具名称和输入参数，调用相应的功能并返回输出。

结束节点标志着Reason-Act循环的完成，将最终输出返回给用户。

ReAct Agent的节点和工具

SMART-SLIC框架在实际应用中的表现，并提供了评估结果：

A. 数据集：

  • 初始选择了30篇由主题专家（SME）挑选的、专注于大规模恶意软件分析和异常检测领域的文档作为核心文档。

  • 通过引用和参考文献网络对数据集进行了两次扩展，最终得到8790篇科学出版物构成的数据集。

B. 潜在特征提取：

  • 使用T-ELF对数据集进行张量分解，确定了25个主题聚类作为所有评估k值中的最佳划分。

  • 分解过程使用了高性能计算资源，整个过程大约耗时2小时。

C. 向量存储：

  • 将8790篇文档向量化后存入Milvus向量数据库。

  • 其中22%的文档有全文文本，这些也被向量化并存入Milvus。

D. 知识图谱：

  • 从T-ELF输出的25个聚类中，格式化数据为1,457,534个三元组，并注入知识图谱。

  • 知识图谱中包含了321,122个节点和1,136,412条边关系。

知识图谱Schema

关键词“网络犯罪”的图形搜索。返回单个关键词（绿色）以及相关联的文档（浅蓝色）。文档还链接了附属机构（黄色）和机构所在的国家（红色）。

E. 问答验证：

  • 使用文档特定问题和主题特定问题对系统进行了零样本条件下的问答测试。

  • 比较了使用GPT-4-instruct模型在有无RAG框架的情况下的回答性能。

  • 结果显示，使用RAG时，GPT-4-instruct模型回答问题的准确率达到97%，而没有使用RAG时，模型有40%的问题未回答，回答的问题准确率仅为20%。

F. 复杂问题解答：

  • 还测试了更复杂的问题，这些问题需要通过各种检索方法进行彻底搜索。

  • SME提出了几个问题，使用SMART-SLIC RAG流程得到的回答与SME选择的DOI一致，证明了代理在检索相关来源方面的准确性。

  • 没有使用RAG时，LLM的回答不准确，存在编造答案的情况，且未提供DOI引用，降低了信息的可信度。

两种问题类型，文档和主题，展示了使用SMART-SLIC RAG和不使用RAG时，LLM的尝试百分比和正确百分比。

最后的最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

在这里插入图片描述

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

在这里插入图片描述

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

小涂Ss
关注
模块化RAG技术路线图(Modular RAG Technical Map)：从基础Naive RAG 到高级Advanced，再到Modular RAG全方位技术解读
丨汀、的博客
08-27 373
模块化RAG技术路线图(Modular RAG Technical Map)：从基础Naive RAG 到高级Advanced，再到Modular RAG全方位技术解读
LLM OS 中的自然语言搜索引擎
AI天才研究院
08-23 598
在人工智能和自然语言处理技术飞速发展的今天，大语言模型（Large Language Models，简称LLM）已经成为了推动技术革新的重要力量。随着LLM在各个领域的广泛应用，一个革命性的概念应运而生——LLM OS（Large Language Model Operating System）。这种新型操作系统以大语言模型为核心，旨在彻底改变人机交互的方式，使计算机能够更好地理解和执行用户的自然语言指令。在LLM OS中，自然语言搜索引擎扮演着至关重要的角色。
模块化的RAG和RAG流程：第一部分
myboyliu2007的专栏
01-29 1138
以上，我们可以看到RAG的快速发展已经超越了链式高级RAG范式，展示了模块化的特点。为了解决当前的组织和抽象不足，我们提出了一种模块化的RAG方法，无缝地集成了天真RAG和高级RAG的开发范式。模块化RAG呈现出一种高度可扩展的范式，将RAG系统划分为模块类型、模块和运算符的三层结构。每个模块类型代表RAG系统中的核心流程，包含多个功能模块。每个功能模块又包含多个具体的运算符。整个RAG系统成为多个模块和相应操作符的排列组合，形成我们所称的RAG流程。
模块化RAG：RAG新范式，像乐高一样搭建 万字长文
mama19971023的博客
08-06 1188
在现代计算系统中，模块化正成为一种趋势。能够增强系统的可扩展性和可维护性，并通过流程控制实现高效的任务执行。模块化 RAG 架构分为三个层级：• 顶层聚焦于 RAG 的关键阶段，其中每个阶段都视作一个独立的模块。该层级不仅继承了高级 RAG 范式的主要流程，还引入了一个编排模块来调控 RAG 流程的协同。• 中间层由每个模块内的子模块组成，进一步细化和优化功能。• 底层由基本操作单元——操作符构成。在模块化 RAG 框架内，RAG 系统能够以计算图的形式呈现，其中节点代表特定的操作符。
2024检索增强生成RAG最新综述
python1234_的博客
06-11 1030
人工智能生成内容（AIGC）的发展得益于模型算法的进步、基础模型规模的增加以及大量高质量数据集的可用性。虽然AIGC取得了显著的性能，但仍面临一些挑战，如难以保持最新和长尾知识、数据泄露的风险以及与训练和推理相关的高成本。检索增强生成（RAG）最近出现作为一种范式来解决这些挑战。具体而言，RAG引入信息检索过程，通过从可用数据存储中检索相关对象来增强生成过程，从而提高准确性和鲁棒性。本文全面审查了将RAG技术整合到AIGC场景中的现有努力。
增强检索问答RAG研究成果综述 Retrieval-Augmented Generation for AI-Generated Content: A Survey
数智笔记
04-03 1017
论文地址：https://arxiv.org/abs/2402.19473项目存储库：https://github.com/hymie122/RAG-SurveyPenghao Zhao, Hailin Zhang, Qinhan Yu, Zhengren Wang, Yunteng Geng, Fangcheng Fu, Ling Yang, Wentao Zhang, Bin Cui, Fellow, IEEE摘要—人工智能生成内容（AIGC）的发展得益于模型算法的进步、基础模型规模的增加以及大量高质量
从0到精通，读懂这一篇就够了，RAG：检索增强的前世今生
人工智能讲师分享前沿技术
09-26 717
Moritz Wallawitsch，RemNote（一款利用人类记忆曲线等神经科学规律帮助学生学习知识的app）联创（General Catalyst支持），ZFellow（创业辅导），Prod.so（面向哈佛、MIT等名校学生的创业孵化器）合伙人，Emergent Ventures风投基金合伙人。
Meta发布视频生成模型Movie Gen及RAG前沿总结：迭代式RAG、KG增强及领域数据注入大模型思路
lyy2017175913的博客
10-06 1568
本文主要回顾了三个话题，关于迭代式RAG的几种思路、特定领域数据注入到大模型的方式以及关于基于图谱的RAG增强方式。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！😝有需要的小伙伴，可以保存图片到。
NLP&LLM算法面经问题整理与回答（更新中20240812）
Talexiatian的博客
05-28 3444
在NLP领域中Embedding即词嵌入技术，是一种将文本中的单词转换为固定长度的向量（词向量）技术。现有的模型考虑任务需求、计算资源、模型性能等因素词向量维度设置为100-1000不等。
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG-优质大模型部署项目实战.zip
04-09
总结来说，这个项目实战旨在教大家如何在Windows环境中利用TensorRT-LLM部署RAG聊天机器人，结合检索增强和高性能推理，实现更加智能和高效的对话体验。通过这个实践，开发者不仅能掌握RAG模型的原理和应用，还能...
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG源码+项目说明.zip
06-08
Chat with RTX是一款演示应用程序，可以让您个性化连接到您自己的内容（文档、笔记、视频或其他数据）的GPT大型语言模型（LLM）。利用检索增强生成（RAG）、TensorRTLLM和RTX加速，您可以查询自定义聊天机器人，以...
讲解如何使用RAG（检索增强生成）和LLM（大语言模型）来构建一个法律咨询网站。
Winfredzhang的博客
06-02 1015
文档预处理：将法律文档转化为向量，存储在Faiss向量数据库中。文档检索：根据用户问题检索相关文档。提取重要段落：从相关文档中提取与用户问题相关的重要段落。生成答案：使用OpenAI的GPT-4生成详细回答。前后端构建：使用Flask构建后端API，用HTML和JavaScript构建简单的前端页面。通过这些步骤，即使是初学者也能逐步理解和实现一个利用RAG+LLM技术的法律咨询网站。
RAG与LLM原理及实践（2）--- RAG结合LLM function调用的原理及落地实践
talentyiyy的专栏
06-21 1385
在这两者结合的过程中，你要知道一件事，那就是LLM大模型必须知道你所提出的问题，在什么时候需要 LLM来回答， 什么时候需要 RAG 来回答，才是比较好的结果，prompt 起着至关重要的作用。一方面，RAG的专家知识库上因为加入了LLM，而使得RAG对应更自然，不再是生硬的回答，借助LLM，可以帮助RAG的回答润色。我们可以看到我们自己定义了专业的函数，这就相当于是 RAG，他的 "description": "当你想知道现在的时间时非常有用。" "一个小时后几点" "北京天气如何？
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
最新发布
阿利同学的博客
10-07 583
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
深度学习每周学习总结J1（ResNet-50算法实战与解析 - 鸟类识别）
qq_33489955的博客
10-04 1230
数据导入及处理部分：本次数据导入没有使用torchvision自带的数据集，需要将原始数据进行处理包括数据导入，查看数据分类情况，定义transforms，进行数据类型转换等操作。划分数据集：划定训练集测试集后，再使用torch.utils.data中的DataLoader()分别加载上一步处理好的训练及测试数据，查看批处理维度.模型构建部分：resnet-50。
基于Keras的U-Net模型在图像分割与计数中的应用
深度学习实战训练营，一起交流探索深度学习
10-04 1326
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
大模型~合集5
whaosoft~aiotの开发板商城
10-02 1522
FLock 的机制设计受到了证明权益（PoS）区块链共识机制和桌面游戏《The Resistance》（一种角色扮演类游戏，该游戏的一个变种叫阿瓦隆）的启发。《The Resistance》游戏则通过投票机制，每轮游戏中玩家独立推理并投票，从而实现全局共识。《The Resistance》有两个不匹配的竞争方，其中较大的一方被称为抵抗力量，另一方被称为间谍。在《The Resistance》中，有一个投票机制，在每一轮中，每个玩家进行独立推理并为一个玩家投票，得票最多的玩家将被视为「间谍」并被踢出游戏。
北大对齐团队深度硬核解读：OpenAI o1开启「后训练」时代强化学习新范式
ys707663989的博客
10-06 1210
本文深入探讨了OpenAI o1的技术细节、的实现、合成数据与推理搜索的优化，以及AI安全的新启示，展示了大语言模型在推理能力提升和安全对齐方面的最新进展与未来方向。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值