关于RAG(检索增强生成)的一些知识

最新推荐文章于 2024-08-22 20:07:35 发布
最新推荐文章于 2024-08-22 20:07:35 发布
阅读量1k 收藏 10
点赞数 26
文章标签： 人工智能 深度学习 机器学习 语言模型 产品经理 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81888214/article/details/139238524
版权

写在前面

最近一直在看AI相关的文章，不出意外的话，后续几篇应该都是关于这方面的。希望能和大家一起了解这方面的技术。

什么是RAG

检索增强生成 (RAG,全称Retrieval-Augmented Generation) 是一种利用从外部来源获取的事实来提高生成式 AI 模型的准确性和可靠性的技术。 它填补了 LLM工作方式的空白 , 在 LLM 本就强大的功能基础上，RAG 将其扩展为能访问特定领域或组织的内部知识库，所有这些都无需重新训练模型。这是一种经济高效地改进 LLM 输出的方法，让它在各种情境下都能保持相关性、准确性和实用性。

为什么需要RAG

LLM 面临的已知挑战包括：

  • 在没有答案的情况下提供虚假信息。
  • 当用户需要特定的当前响应时，提供过时或通用的信息。
  • 从非权威来源创建响应。
  • 由于术语混淆，不同的培训来源使用相同的术语来谈论不同的事情，因此会产生不准确的响应。

RAG 是解决其中一些挑战的一种方法。它会重定向 LLM，从权威的、预先确定的知识来源中检索相关信息。组织可以更好地控制生成的文本输出 。

RAG工作原理

如果没有 RAG，LLM 会接受用户输入，并根据它所接受训练的信息或它已经知道的信息创建响应。RAG 引入了一个信息检索组件，该组件利用用户输入首先从新数据源提取信息。用户查询和相关信息都提供给 LLM。LLM 使用新知识及其训练数据来创建更好的响应。

img

创建外部数据

LLM 原始训练数据集之外的新数据称为外部数据。它可以来自多个数据来源，例如 API、数据库或文档存储库。数据可能以各种格式存在，例如文件、数据库记录或长篇文本。然后使用嵌入语言模型的技术将数据转换为数字表示形式并将其存储在向量数据库中。这个过程会创建一个生成式人工智能模型可以理解的知识库。

检索相关信息

用户查询将转换为向量表示形式，并与向量数据库匹配。例如，考虑一个可以回答组织的人力资源问题的智能聊天机器人。如果员工搜索 ：“我有多少年假？” ，系统将检索年假政策文件以及员工个人过去的休假记录。这些特定文件将被用来增加用户的输入，因为它们与员工输入的内容高度相关。相关性是使用数学向量计算和表示法计算和建立的。

增强 LLM 提示

接下来，RAG 模型通过在上下文中添加检索到的相关数据来增强用户输入（或提示）。此步骤使用提示工程技术与 LLM 进行有效沟通。增强提示允许大型语言模型为用户查询生成准确的答案。

更新外部数据

如果外部数据过时了怎么办？ 要维护当前信息以供检索，可以异步更新文档并更新文档的向量表示形式。您可以通过自动化实时流程或定期批处理来执行此操作。

以下是 NVIDIA 对 RAG 流程的概括描述

NVIDIA diagram of how RAG works with LLMs

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

人工智能小豪
关注
python利用向量数据库chroma实现RAG检索增强生成
Cachel Wood的博客
04-27 1340
向量数据库chroma教程RAG的全称是，中文翻译为检索增强生成。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识更新问题最先进的LLM会接受大量的训练数据，将广泛的常识知识存储在神经网络的权重中。然而，当我们在提示大模型生成训练数据之外的知识时，例如最新知识、特定领域知识等，LLM的输出可能会导致事实不准确，这就是我们常说的模型幻觉。即LLM的知识不可能实时更新。简单来说，RAG对于LLM来说就像学生的开卷考试一样。
AutoGen 检索增强生成（RAG）功能解析
最新发布
Linux猿
09-01 802
检索增强生成 (RAG) 是大模型的一种扩展技术，它将大模型与外部知识检索相结合，以提高生成的响应的质量和相关性，例如：FastGPT。RAG架构图如下所示。主要流程如下所示：（1）用户（User）提出问题（Query）;（2）在数据库（Data Source）中查询与问题（Query）相关的内容，这些内容将作为 LLM 的上下文（Text），将问题（Query）和上下文（Text）一起传给 LLM；（3）LLM 根据 Data Source 中检索到的内容组织回答，最终生成回答，返回给用户；
一文详谈RAG优化方案与实践
weixin_45583158的博客
06-19 765
导读RAG通过检索现有的大量知识，结合强大的生成模型，为复杂的问答、文本摘要和生成任务带来了全新的解决方案。本文详细的介绍了RAG遇到的挑战、通用范式、工程实践、优化实现策略等。一、RAG的背景介绍随着ChatGPT的兴起，大语言模型再次走进人们的视野，其在NLP领域表现出的语言识别、理解以及推理能力令人惊叹。越来越多的行业开始探索大语言模型的应用，比如政务、医疗、交通、导购等行业。通义系列、GP...
一文梳理有效提升RAG效果的方法
kangbin825的专栏
06-27 756
在RAG系统的实际应用中，需要工程和算法等的多方参与和努力，理论上有很多方法，在实践的过程中我觉得还需要大量的实验对比，不断验证和优化，也可能会遇到许多细节问题，比如可想到的异构数据源的加载和处理啊，知识的展示形态(文本、图片、表格)等是否能一起回答，提升下用户体验，以及建立一套自动化的评估机制，当然还有模型的持续迭代和大小模型的训练支持。对大部分场景来说是有效的方案。具体来说，设计了一个轻量级的检索评估器来评估检索到的文档的整体质量，并基于评估结果触发不同的知识检索操作。
RAG进阶笔记：RAG进阶
qq_40206371的博客
03-26 730
Precise Zero-Shot Dense Retrieval without Relevance LabelsQuery Expansion by Prompting Large Language Models参考内容：提升RAG检索质量的三个高级技巧（查询扩展、交叉编码器重排序和嵌入适配器）
RAG进阶(二): RAG 融合(rag fusion)
weixin_42608414的博客
05-06 3666
今天我们来介绍RAG 融合(rag fusion)，它的主要思想是在Multi Query的基础上，对其检索结果进行重新排序(即reranking)后输出Top K个最相关文档，最后将这top k个文档喂给LLM并生成最终的答案(answer)。
【LLM大模型】最优化大模型效果之 RAG（三）：检索的优化策略
2401_82469710的博客
07-09 983
在最简单的 RAG 系统中，存在这样一个工作链条：当用户进行提问时，RAG 系统首先会根据问题从预先构建好的数据库检索相关的文档，并返回给大模型进行生成。在这个过程中，我们一共做了三件事儿，分别是索引、检索和生成。为了获得更好的效果，需要对这三个环节进行针对性的优化，从而提高 RAG 系统的性能。在上一篇文章中，我们已经针对索引环节的优化进行了讨论，接下来的内容中，我们将重点探讨 RAG 系统里检索的优化方法和策略。检索是 RAG 中的关键环节，目的在于从数据库中匹配与用户原始问题最相关的内容。
开启RAG进阶：混合检索（关键字&向量）+重排序（原理讲解与示例体验）
2401_84204207的博客
08-22 1174
接下来我们就先来了解下到底什么是混合检索，可能从我们以上综合提到了两个检索方式，也已经能推断出来了。没错，在RAG系统中，混合搜索最常见指向量检索和关键词检索的组合。混合检索是结合了两种或者多种搜索算法提高搜索结果相关性的搜索技术。RAG部分，我们陆陆续续分享了好几篇文章，从了解RAG到RAG与Fine tune的对比，再到RAG的实操：文档切片的方法、关键字检索、向量检索。
JAVA版本的检索增强生成(RAG)大模型知识库项目.zip
03-09
JAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的检索增强生成(RAG)大模型知识库项目.zipJAVA版本的...
RAG检索增强:知识图谱赋能的高效问答系统
AI天才研究院
04-30 491
1. 背景介绍 随着互联网和信息技术的飞速发展，人们获取信息的方式和途径也发生了巨大的变化。传统的搜索引擎已经无法满足用户对于更精准、更个性化、更智能的信息获取需求。问答系统作为一种能够直接回答用户问题的智能系统，应运而生，并逐渐成为信息检索领域的研究热点。 早期的问答系统主要基于模板匹配和关键词匹配等方法，其回答准确率和效率都比较低。
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
女王の专属领地
01-20 8595
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
提升LLM效果的几种简单方法
Alex的博客
04-01 1156
对于知识库问答，现在有两种方案，一种基于llamaindex，一种基于langchain +LLM,我们目前采用的就是后者，先来看一下这个方式的技术架构图：使用 LangChain 或 LlamaIndex 等框架，可以使用大约五行代码就构建一个简单的问答系统，例如文档的聊天机器人。但是，用这五行代码构建的机器人效果就可能差强人意了。接下来我们说一下如何从理论上来提高LLM的问答效果。
大模型RAG优化方案与实践（非常详细）从入门到精通，看这一篇就够了
玩赚AI大模型的博客
07-17 3009
RAG通过检索现有的大量知识，结合强大的生成模型，为复杂的问答、文本摘要和生成任务带来了全新的解决方案。本文详细的介绍了RAG遇到的挑战、通用范式、工程实践、优化实现策略等。一、RAG的背景介绍随着ChatGPT的兴起，大语言模型再次走进人们的视野，其在NLP领域表现出的语言识别、理解以及推理能力令人惊叹。越来越多的行业开始探索大语言模型的应用，比如政务、医疗、交通、导购等行业。通义系列、GPT系列、LLama系列等模型，在语言交互场景下表现十分抢眼。
关于RAG优化的几个小技巧
python1234567_的博客
06-28 1258
在对知识库中文档内容进行切片时，是可以以该切片为假设条件，利用LLM预先设置几个候选的相关性问题的，也就是说，这几个候选的相关性问题是和切片的内容强相关的。另一方面，在实际的业务场景中，准确率可能是现阶段最重要的问题，业务人员对于应用的要求可能是90分，而LLM目前的能力只能达到60分，如果不能通过其它的方式提升效果，那么应用可能无法在实际场景中使用了。一种处理的方案是，通过分割和存储小块数据来实现，在检索过程中，它首先获取小块，然后查找这些块的父ID，并返回那些较大的文档。
用通俗易懂的方式讲解：一文详解大模型 RAG 模块
2301_78285120的博客
02-02 7973
RAG 技术是一种检索增强生成的方法，结合了大型语言模型和检索系统的优势，以提高生成内容的准确性、相关性和时效性。相比于仅依赖大型语言模型的生成，RAG技术可以从外部知识库中检索信息，避免了模型的幻觉问题，并提升了对实时性要求较高问题的处理能力。与传统的知识库问答系统相比，RAG技术更加灵活，可以处理非结构化的自然语言文本。RAG并非旨在取代已有的知识库问答系统，而是作为一种补充，强调实时性和准确性，并且通过结合生成和检索机制来提升自然语言处理任务的效果。增强数据获取。
RAG概述（二）：Advanced RAG 高级RAG
hugo_lei的博客
05-26 1791
Native RAG（基础RAG）体现了RAG开发范式的骨架，也即三段论Indexing-Retrieval-Generation。Advanced RAG聚焦在检索增强，增加了Pre-Retrieval预检索和Post-Retrieval后检索阶段。
RAG检索增强技术在知识库智能检索场景下的应用实践
FrenzyTechAI的博客
12-18 6793
本文我们主要探讨了知识检索增强（Retrieval-Augmented Generation, RAG）技术的关键评估方法和行业应用，以及几种现有的技术栈选择及其优缺点。首先，关于RAG的效果评估，我们提到了两种主要的评估方式：独立评估和端到端评估。独立评估包括检索评估和生成评估，重点在于分别量化检索结果的质量和生成问题的能力。端到端评估则结合了无标签和有标签的评估指标，以及人工或GPT模型的评估方法，以获得更全面的效果评价。
#AIGC##LLM##RAG# RAG：专补LLMs短板_减少LLM幻觉并多模态/RAG 技术最新进展
weixin_45312236的博客
01-15 1767
通过检索与生成目标相关的信息，来增强生成模型性能的技术。弥补LLMs“黑盒”导致的幻觉、信息来源单一、信息缺乏是时效性、模态单一、内容不透明不可追溯等短板。以便有效地控制成本并确保数据隐私的保护。
不用苦苦寻觅！这是大模型检索增强生成（RAG）最全综述！
热门推荐
机器学习社区
02-03 1万+
是什么：RAG 是一种通过检索外部知识库来获得额外语料，并使用 ICL（In-Context-Learning，上下文学习）来改进 LLM 生成效果的范式。为什么：LLM 受训练语料的限制，无法感知最新的内容，比如 LLM 训练后的新闻；此外，LLM 也容易产生幻觉，生成不正确的内容。如何做：当用户发起一个生成请求时，首先基于用户的 prompt 来检索相关信息，然后这些信息会被组合到 prompt 中，为生成过程提供额外的上下文，最后将组合后的 prompt 输入 LLM 生成结果。
法律大语言模型中的RAG检索增强生成
08-19
在法律领域的大语言模型中，RAG（Retrieval-Augmented Generation，检索增强生成）是一种技术，它结合了检索模型和生成模型的优势。首先，检索模型会在大量的文本数据（如法律文档、判例法等）中搜索相关信息，找到与用户提问相关的预训练片段。然后，生成模型会利用这些检索到的信息，生成详细的、有上下文的回答，就像是基于检索到的证据来进行推理和生成一样。 这种混合方法可以提供更准确、详尽的答案，因为它不仅考虑到了模型自身的知识生成能力，还引入了外部知识来源的支持，减少了误解或遗漏的可能性。然而，由于法律领域的特殊性，如新法规、案例解读等动态变化，RAG模型仍需定期更新其数据库以保持信息的时效性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值