大模型RAG架构落地的十大挑战

—0—

RAG 简介

RAG（Retrieval Augmented Generation）结合知识库检索与大模型回答，确保信息可靠且精准，同时节省了微调成本。

RAG 流程简要概括为3步，对应其名：

1、检索：借助 Embedding，将问题转化为向量，比对知识库，选取最相关的 Top K 知识。

2、增强：结合检索出的上下文和问题，构造 Prompt。

3. 生成：将 Prompt 输入大模型，产出答案。

从工程视角划分，RAG 实施分为两阶段：

阶段一：离线数据预处理：涵盖知识文件导入、文本切分、向量构建及数据库存储，完成知识的索引构建。

阶段二、在线应用推理执行：实时执行信息检索与大模型内容生成任务，实现交互式问答流程。

—1—

数据准备阶段的挑战一

挑战一：文本划分不当，影响检索内容的精确度与全面性。

文本块的划分尺寸直接关系到查询时与用户提问的贴合度：过小的区块可能无法涵盖问题所有相关内容；反之，过大则易引入冗余信息。

当前多种文本切分策略存在，但理想的切分方法需贴合特定领域文档特性，考虑因素包括文件格式、作者书写习惯及表述模式等。因此，选取最合适的切块策略需依据具体情况，并可能针对文档的不同类别采取定制化处理。核心在于确保分割逻辑遵循语义完整性，以实现内容的有效组织。

—2—

数据检索阶段的挑战二

挑战二：尽管向量检索作为主流方法依赖于相似度评估，但它亦面临多方面局限。

1、语义理解偏差：向量表示偶尔难以区分近义概念的细微差异，可能引起误解。

2、维度考量失衡：如余弦相似度侧重向量方向而非其规模，可能导致虽方向相近但在意义层面相去甚远的匹配。

3、信息粒度不协调：用户查询的精确向量可能指向具体信息点，而数据库条目若是宽泛主题，则检索结果易过度泛化。

4、上下文匹配不足：现有向量搜索技术偏向整体相似性判断，可能忽略局部或特定上下文中的更高相似度信息。

5、稀疏数据检索难：在大规模知识库中定位关键片段尤为困难，特别是当所需信息零散分布于多文档时，此挑战更为显著。

—3—

数据检索阶段的挑战三

挑战三：多个检索结果排名和优先级不合适，导致大模型的回答没有抓住重点。

准确评估并排序多个检索片段对于生成高质量回答极为关键，此过程需精密平衡各段落的相关性和重要性。这不仅考验着排序算法的有效性，还隐含了对领域知识深入理解的需求，以便在信息筛选与排序阶段实现智能化决策。

—4—

大模型生成阶段的挑战四

挑战四：提升 Prompt 设计以引导大模型依据既有知识库与提示词，输出更佳答案是一项重大任务。

Prompt 创作远超于问题与检索材料的直接整合，它要求根据生成模型的独特性，采取定制化的表述策略与附加指导。为了约束大模型潜在的泛化偏差，确立一个恒定的“角色框架”显得尤为关键，比如：明确指示大模型“扮演该领域的权威学者”，或“仅限于利用提问与关联素材进行精要概述与总结”，从而在各种情境下维持回答的精准度与相关性。

—5—

大模型生成阶段的挑战五

挑战五：确保大模型回应的连贯性与一致性，面临的信息整合难题尤为突出。

大模型需面对的挑战在于，整合源自多样文献的知识碎片，以及用户提问中多关键词触发的多样化内容。在此基础上，大模型必须展现出高度的整合能力，使得最终的输出结果不仅在逻辑链条上紧密相连，而且在观点与事实的呈现上保持高度一致，这一过程对大模型的综合推理与衔接能力提出了严峻考验。

—6—

大模型生成阶段的挑战六

挑战六：大模型如何更好地理解领域知识片段。

各个大模型在掌握特定领域知识及专业术语的深度不一，致使它们在解析检索到的信息及构造反馈时展现出差异性。缩小这一差距的关键，在于实施针对性的微调策略，旨在强化大模型对该领域的语言理解力及内容生成的精准度，从而促进其更深层次地融入与适应专业话语体系。

—7—

知识准备阶段的挑战七

挑战七：优化 RAG 的瓶颈：确保高效且可靠的问答对供给。

在追求 RAG 系统性能巅峰的过程中，大量高质量的问答对用作调优数据显得至关重要。尽管广泛认同丰富 QA 对的积累能极大促进调优效果，但手动创建这些资源无疑是一项耗时巨大的工程，而依赖自动化生成则可能牺牲内容的可靠性。因此，探索一种既能保证效率又能维护准确性的 QA 对生成机制，成为决定 RAG 系统最终成效的核心挑战。

—8—

意图识别阶段的挑战八

挑战八：界定合理拒答的微妙平衡。

面对用户提问，尤其当问题超越了现有文献资料范畴时，恰当时机的拒答成为一大考验。应当在无法给予确切信息时勇于说“不知道”，以免提供错误引导。实践中，虽常借助相似度阈值或场景语料库作为判断标尺，却依然难以实现百分之百的精准。过于频繁的拒答可能导致用户体验冷漠，而过度猜测回答又可能损害系统信誉。因此，拿捏拒答的恰当火候，成为维护问答系统信誉与用户信任的关键。

—9—

多模态 RAG 的挑战九

挑战九：多模态的支持是必然趋势。

在多模态 RAG 的研究中，针对不同的模态，包括：图像、代码、结构化知识、音频和视频，有不同的检索和合成程序、目标任务和挑战。比如：通过图像检索扩展文本生成的上下文，利用样例代码和相关文档增强代码生成等等。

—10—

RAG 评价的挑战十

挑战十：科学衡量 RAG 在特定领域的实用性门槛。

评估 RAG 在某一领域的应用成熟度，类似于采用 RAGAs 评估框架，需独立提供问题(question)与标准答案(ground_truth)，这使得评估结果高度依赖于问题设计的合理性与标准答案的准确性。

此外，评估流程的复杂性—涉及大模型及嵌入模型的性能，进一步要求模型本身的稳定可靠，以及输入 Prompt 的精确无误，否则评估指标将失去可信度。因此，确保大模型与 Prompt 的质量，成为验证 RAG 应用效能的关键挑战。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓