搭建 RAG 系统的技巧和策略

于 2024-10-04 09:00:00 发布
阅读量858 收藏 22
点赞数 14
文章标签： 自然语言处理 语言模型 人工智能 LLM RAG 大语言模型 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyy2017175913/article/details/142642071
版权

【导读】 RAG（Retrieval-Augmented Generation）是一种结合检索和生成的混合系统，在当前大模型的实际应用中具有重要意义。以下是我在之前分享的一些RAG搭建技巧和策略，供大家学习和参考。由于实验是在企业数据上进行验证的，因此不展示具体数据，仅进行技巧上的探讨。

RAG优势

通过结合检索和生成的优势，RAG显著提高了LLM答案的准确性、相关性和可解释性，并减少了幻觉现象。尽管LLM在处理长文本方面的能力不断增强，但在短期内，RAG的优势依然不可替代。

RAG框架流程

可以大致概括为4个部分：1）文档切分入库；2）问题处理；3）召回；4）大模型生成。

RAG文档切分入库

切分入库是RAG文档解析的第一步，通常可以使用现成的Python工具来实现，LangChain也提供了相关集成。对于多模态数据，可以采用OCR或VLLM等技术来解析其中的有效信息。

知识切分

文档切分是一个非常重要的环节，它直接关系到片段召回的完整性和生成质量。根据文档类型的不同，切分策略也有所不同。以下介绍了针对四种情况的不同切分方式。

多级索引

通常情况下，片段可以直接入库。然而，如果基于这些片段构建摘要和查询的索引，并将其链接回原始片段，可以显著增强检索效果。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

问题处理

对于问题的处理通常容易被忽视，但实际上这一部分有许多可以尝试的改进点。通过优化问题处理，不仅可以提升整个系统的健壮性，还能显著改善用户体验。

召回排序模块

这一部分是RAG的核心模块，通常采用向量粗排和重排序（reranker）精排的策略。可以根据具体业务需求设计多种召回策略，充分利用知识库自带的信息。总之，召回模块应尽可能实现对知识的全面召回。

大模型生成

大模型生成部分的关键在于模型的选择和微调。在调试提示词（prompt）时，可以根据业务的复杂性进行多种尝试。如果是推理型问题，可以在提示词中增加思维链；如果涉及计算题，可以要求模型生成公式或代码，再计算结果。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
在这里插入图片描述

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
在这里插入图片描述
在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
在这里插入图片描述

程序员丸子
关注
RAG+Agent项目实践系列：基于本地菜谱知识库的大语言模型RAG+Agent的解决方案设计和实现
丨汀、的博客
08-09 405
RAG+Agent项目实践系列：基于本地菜谱知识库的大语言模型RAG+Agent的解决方案设计和实现
【LangChain编程：从入门到实践】生态系统概览：组件（Components）-链（Chains）-代理（Agents）-内存（Memory）-提示工程（Prompt Engineering）
AI天才研究院
07-24 840
本文旨在为读者提供一个全面而深入的LangChain生态系统概览。我们将探讨LangChain的核心组件、工具链以及它如何革新大语言模型（LLM）的应用开发过程。通过本文，读者将了解到：本文面向以下读者群体：本文将按以下结构展开：LangChain的生态系统是围绕着简化大语言模型应用开发而构建的。为了更好地理解LangChain的核心概念及其相互联系，我们可以通过以下Mermaid流程图来visualize整个生态系统的架构：LangChainModelsPromptsChainsMemoryIndexes
一文读懂：大模型RAG（检索增强生成）
star_nwe的博客
07-24 874
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
大模型系列——解读RAG
我相信......
02-04 2496
RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上，覆盖了结合网络搜索引擎和 LLM 的问答服务，到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构，但什么是RAG呢？RAG又涉及了哪些具体的技术呢？1. 什么是RAGRAG即检索增强生成，为 LLM 提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG ...
【RAG入门】什么是 RAG，为什么要用 RAG？
最新发布
pythonhy的博客
09-09 1278
如果使用 pretrain 好的 LLM 模型，应用在你个人的情境中，势必会有些词不达意的地方，例如问 LLM 你个人的信息，那么它会无法回答;这种情况在企业内部也是一样，例如使用 LLM 来回答企业内部的规章条款等。
AI大模型的制作：RAG和向量数据库，分别是什么？
杨荧的CSDN博客
11-14 7156
AI大模型是指具有大规模参数和复杂结构的人工智能模型。传统的机器学习模型通常有限的参数量，而AI大模型则通过增加参数量和层数来提升模型的表达能力和性能。
一问讲透什么是 RAG，为什么需要 RAG？
weixin_53880910的博客
08-16 979
如果使用 pretrain 好的 LLM 模型，应用在你个人的情境中，势必会有些词不达意的地方，例如问 LLM 你个人的信息，那么它会无法回答;这种情况在企业内部也是一样，例如使用 LLM 来回答企业内部的规章条款等。 这种时候主要有三种方式来让 LLM 变得更符合你的需求：
RAG技术全解析：打造下一代智能问答系统
alysblmd
05-13 7124
检索增强生成（RAG）技术通过结合大型语言模型（LLM）和外部知识库来克服传统语言模型在特定领域任务上的局限。RAG通过索引、检索和生成的三步流程，增强了语言模型的能力，提高了生成内容的准确性和相关性。本文详细介绍了RAG的工作原理、实现过程和评估方法，并展望了其在多模态领域的应用前景。RAG不仅优化了问答系统的性能，还通过多样的技术整合和灵活的检索过程，推动了智能问答系统的发展。
从零开始：基于LLM大模型构建智能应用程序的完整指南
AI天才研究院
06-07 1万+
在我们即将发布的帖子中，我们将讨论 LLM 链、意图识别、添加特定于任务的工具、集群、创建推荐系统、微调开源 LLM 以及我们测试系统的方式等话题不断改进并从研究和开源社区中学习。在零样本学习中，语言模型被要求在没有明确示例的情况下完成任务，而在少样本学习中，为模型提供了有限数量的示例，或“少样本”，嵌入在提示中. 提示对于将模型引导到一个方向并避免产生幻觉非常重要。根据您的需要，其他方法可能更有效。LLM大模型是一种基于深度学习技术的模型，它可以自动学习并理解大量的数据，从而实现高效、准确的预测和分类。
2024年08月数据月报
SmartSi
09-08 2788
2024年09月数据月报，为您准备了阿里、字节、百度等大厂150多篇实践案例
大语言模型原理与工程实践：手把手教你训练 7B 大语言模型 自动化训练框架
AI天才研究院
07-10 712
近年来，大语言模型（Large Language Models，LLMs）在自然语言处理领域取得了突破性进展。从GPT-3到ChatGPT，再到最新的GPT-4，这些模型展现出了惊人的语言理解和生成能力，引发了学术界和产业界的广泛关注。然而，训练如此庞大的模型不仅需要海量的数据和计算资源，还需要复杂的工程实践和优化技巧。本文将深入探讨大语言模型的原理，并以7B参数规模的模型为例，详细介绍如何构建一个自动化训练框架，使读者能够亲自动手训练自己的大语言模型。
大模型入门到进阶：什么是 RAG？为什么需要 RAG？RAG 的流程
star_nwe的博客
08-14 3210
学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
一文带你了解大模型的RAG(检索增强生成) | 概念理论介绍+ 代码实操（含源码）
热门推荐
机器学习社区
12-30 2万+
RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。本文介绍了 RAG 的概念及其背后的一些理论，本文通过Python、LangChain将其实现，在此过程中使用了 OpenAI的ChatGPT接口（可以自己搭建chatGLM3）、Weaviate矢量数据库（可以自己搭建Milvus ）、OpenAI 嵌入模型实现了 RAG 管道。
（13-1）RAG基础知识介绍：RAG模型概述
码农三叔
02-03 3556
RAG（Retrieval-Augmented Generation）是一种自然语言处理模型架构，旨在结合检索和生成两个关键的NLP（Natural Language Processing）任务。RAG模型可以应用于诸如问答系统、文本摘要、对话系统等多个领域。在本章的内容中，将详细讲解RAG的基础知识，介绍RAG技术的原理和架构知识，为读者步入后面知识的学习打下基础。
读懂RAG这一篇就够了，万字详述RAG的5步流程和12个优化策略
2401_82452722的博客
01-30 1万+
©作者|帅气的桌子来源|神州问学RAG概述ChatGPT、GLM等生成式人工智能在文本生成、文本到图像生成等任务中表现出令人印象深刻的性能。但它们也存在固有局限性，包括产生幻觉、缺乏对生成文本的可解释性、专业领域知识理解差，以及对最新知识的了解有限。为了克服这些限制，提高模型的能力，有两种主要途径：一种是微调（Fine Tune）来更新模型，另一种是让他们能够与外部世界互动，以不同的形式和方式获取知识。微调固然效果好，可以让模型真正的“学会”一些私域知识。但是微调也会带来几个问题：首先，由于生成模型依赖于内
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
女王の专属领地
01-20 8717
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
GraphRAG：知识图谱+大模型
Python_cocola的博客
07-12 2790
结合知识图谱检索和向量检索，利用二者的优势提高搜索结果的准确性和相关性。
AGI｜一篇小白都能看懂的RAG入门介绍！
在数字化道路无限探索
02-20 4129
随着近几年AIGC的发展，不仅是大模型自身在不断优化，相关支持应用也在不断涌现。本文的主角便是这些技术中较为引人注目的RAG(Retrieval-Augmented Generation)——检索增强生成技术。LLM虽然已经在通识领域展现出了惊人的能力，但要落实到真正具体的问题解决，特别是针对专业领域，企业领域的一些具体的，私人的数据生成解决方案，仅仅依靠LLM还是远远不够的。
RAG原理、综述与应用全解析【万字长文】
狮子座明仔知识集散场
04-03 6954
1.1 定义检索增强生成 (Retrieval-Augmented Generation, RAG) 是指在利用大语言模型回答问题之前，先从外部知识库检索相关信息。早在2020年就已经有人提及RAG的概念（paper：Retrieval-augmented generation for knowledge-intensive nlp tasks），首版发布在arxiv于2020年5月，当年还是seq2seq的时代，但实验就已经发现，通过检索，能快速从海量知识中找到和原本问题相关的知识，借助知识带来的信息能提
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值