三、如何进行检索增强？
RAG系统由三个关键组成部分构成：“检索”、“增强"和"生成”，这三个词的首字母恰好对应RAG的缩写。构建一个高效的RAG系统，关键在于增强环节，它涉及到三个核心问题：应该检索什么内容？何时进行检索？以及如何利用检索到的内容？
- 检索增强的阶段： 检索增强可以在预训练、微调和推理三个阶段实施，这影响着外部知识整合的深度，以及所需的计算资源。
- 检索增强的数据源：增强环节可以利用多种类型的数据，包括非结构化的文本数据，例如文本段落、短语或单词。同时，也可以使用结构化数据，如索引化的文档、三元组或子图。此外，还可以不依赖外部数据源，而是利用大型语言模型（LLMs）的内在能力，从模型生成的内容中进行检索。
- 检索增强的过程： 最初，检索是一个单一的步骤。随着RAG技术的发展，出现了迭代检索、递归检索，以及由LLMs根据需要自行决定检索时机的自适应检索方法。这些方法使得检索过程更加灵活和高效。
四、RAG和微调应该如何选择？
除了RAG技术，大型语言模型（LLMs）的优化手段还包括提示工程（Prompt Engineering）和微调（Fine-tuning，简称FT）。这些方法各有其独特的优势和适用场景，它们在依赖外部知识以及模型调整需求上各有侧重。
RAG技术可以类比为给模型提供一本参考书，它通过定制化的信息检索来满足特定查询的需求。而微调则类似于学生通过不断学习来吸收和内化知识，更适合于模仿特定的结构、风格或格式。微调可以通过增强模型的基础知识、调整输出结果和教授模型执行复杂指令来提升性能和效率。不过，微调在整合新知识或快速适应新用例方面的能力相对较弱。
RAG和微调并非相互排斥，它们可以相互补充。将两者结合使用，可以发挥各自的优势，从而实现最佳的性能表现。通过这种方式，模型能够在保持知识更新的同时，也能够模仿和适应特定的输出要求。
五、如何评价RAG？
RAG的评估方法涵盖了多种维度，主要聚焦于三个核心的质量评分：上下文相关性、答案的忠实度以及答案相关性。除此之外，评估还考察模型的四个关键能力：噪声鲁棒性、拒答能力、信息整合和反事实鲁棒性。这些评估标准综合了传统的量化指标和针对RAG特性的专门评估方法，尽管目前这些评估标准尚未完全统一。
在评估框架的构建上，我们可以看到RGB、RECALL等基准测试的存在，以及RAGAS、ARES、TruLens等自动化评估工具的应用，它们为全面评估RAG模型的性能提供了支持。这些工具和方法帮助我们从不同的角度衡量RAG模型的表现，包括评估的对象、所涉及的维度和具体的评估指标。通过这些综合的评估手段，我们能够更深入地理解RAG模型的性能，并探索其潜在的应用领域。
六、未来RAG还有哪些发展前景？
RAG技术的发展仍在持续进行中，未来研究的方向可以从以下三个方面进行展望：
1. AG的垂直优化
- 长下文长度： 面对检索内容超出模型上下文窗口限制的问题，如何改进RAG以适应不受限制的上下文窗口？
- 鲁棒性：如何处理检索到的错误内容，以及如何增强模型对错误信息的过滤和验证能力？
- 与微调的协同：探索RAG与微调（FT）的结合方式，是采取串行、交替还是端到端的策略？
- 规模效应：研究RAG模型是否遵循规模法则（Scaling Law），以及在何种情况下可能出现逆规模法则现象。
- LLM的角色扩展：探讨如何更深入地挖掘LLMs在RAG中的潜力，包括检索、生成和评估等不同角色。
- 程实践优化：研究如何降低大规模语料检索的延迟，并确保检索内容的安全性。
2. RAG的多模态拓展
探索将RAG技术应用于图像、音频、视频或代码等多模态数据的可能性，以增强单一模态任务的性能，并通过RAG理念实现多模态数据的融合。
3. RAG的生态系统构建
RAG技术的应用已经超越了问答系统，其影响力正在向推荐系统、信息抽取、报告生成等更广泛的领域扩展。
RAG技术栈正在迅速增长，市场上出现了更多针对性的RAG工具，如定制化工具以满足特定场景需求，简易化工具降低使用门槛，以及专业化工具面向生产环境。例如：用途定制化，满足更加聚焦场景的需求；使用简易化，进一步降低上手门槛的；功能专业化，逐渐面向生产环境。
这些研究方向不仅能够推动RAG技术的进一步发展，还可能为人工智能领域带来新的突破和应用场景。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
