解锁RAG架构：必知的6种提升AI内容生成的检索增强技术

Python_金钱豹

于 2024-10-09 19:51:41 发布

阅读量582

点赞数 8

文章标签：人工智能语言模型架构科技 3d

本文链接：https://blog.csdn.net/Python_cocola/article/details/142795006

版权

近年来，检索增强生成（RAG）技术重新定义了AI模型的工作方式，将生成式AI的创作能力与检索真实世界数据的精确性结合在一起。通过从外部数据源提取相关信息，RAG 使AI能够生成更加准确且上下文相关的响应。

随着这项技术的不断发展，RAG 也衍生出多种变体，每种变体针对不同的挑战，进一步提升了AI的整体性能。在本文中，我将深入探讨六种关键的RAG技术，重点说明它们如何通过各自独特的方法提升AI生成内容的质量。

Simple RAG

在 Simple RAG 中，LLM 接收用户查询，在向量存储中执行相似性搜索或在知识图谱中执行关系搜索，然后根据检索到的信息生成响应。

以下是它的工作原理：

用户查询：用户提供查询或输入，并将其输入到系统的检索部分。

搜索与检索：模型在向量存储或知识图谱中搜索相关文档或文本，检索器根据相关性对文档进行排名，并选择前 k（例如前 5）个最相关的段落。

响应：所选的文档将传递给大型语言模型（LLM），后者利用这些文档作为上下文，为用户的查询生成格式正确且相关的响应。

Corrective RAG

在 Corrective RAG 中，系统不仅检索和生成响应，还验证和纠正它们。

以下是该过程的工作原理：

搜索和检索：与 Simple RAG 类似，系统根据查询检索相关文档。

评分：将检索到的上下文与受信任的数据集（如测试集或具有预定义规则的提示）进行比较。此步骤的方法会根据项目目标的不同而有所变化。

更正：如果在评分过程中发现任何不准确或不一致之处，模型将通过从查询中提取的关键字进行 Web 搜索，以生成新的响应或优化之前的响应。

Self RAG

自我 RAG 通过自我反思或自我批评来提高 RAG 结果的质量。

以下是该过程的工作原理：

搜索和检索：模型首先通过输入的查询检索相关信息，并生成响应。

评分：为了对文档进行评分或评估，LLM 会对每个答案进行分析，判断其是否与查询相关。如果文档不相关，模型将使用外部来源；如果相关，模型会检查幻觉现象和准确性。

幻觉检查：幻觉节点会检查答案是否有文档支持。有时，AI 模型会“产生幻觉”，即生成看似正确但实际上没有真实数据或文档支持的答案。幻觉节点通过确保模型的响应有文档支持来避免这种情况，确保答案的准确性和可靠性。

回答问题：回答问题节点会检查生成的答案是否确实回答了问题。它会查看生成的响应，检查其在回答原始问题时是否相关且完整。如果不符合要求，模型会改进或调整答案，以确保其准确性。

输出：随着每次迭代，模型生成的响应会更加准确且符合上下文。迭代次数取决于项目规模和可用的处理能力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述