Dify 中的 RAG 技术与企业级案例应用实战

最新推荐文章于 2024-09-19 20:02:47 发布

musicml

最新推荐文章于 2024-09-19 20:02:47 发布

阅读量970

点赞数 7

本文链接：https://blog.csdn.net/musicml/article/details/140455270

版权

▼最近直播超级多，预约保你有收获

今晚直播：《LangChain 开发框架剖析》

—1—

RAG 的基本架构

RAG（Retrieval-Augmented Generation）技术是一种集成检索与生成双重能力的知识增强方案，旨在应对复杂多变的信息查询和生成挑战。在如今的大模型时代背景下，RAG 巧妙地引入外部数据源，比如：本地知识库或企业信息库，为 AI 大模型赋予了更强大的检索和生成实力，从而显著提升了信息查询和生成的品质。

RAG 技术的核心在于它将先进的向量数据库与大模型的智能问答能力进行了完美结合。知识库中的信息被精心存储在向量数据库中，当接收到用户的问题时，系统能够迅速从知识库中检索出相关的知识片段。随后，这些片段会与大模型的智慧相结合，共同孕育出精确而全面的回答。这种技术的运用极大地提高了 AI 系统在处理复杂问题时的准确性和响应速度，为用户带来了更加优质和高效的体验。

—2—

什么是 Dify？

Dify 是一个开源的大语言模型（LLM）应用开发平台。其直观的界面集成了 AI工作流程、RAG（Retrieval-Augmented Generation）管道、代理功能、模型管理、可观测性特性等功能，让您能够快速从原型转向生产。

与 LangChain 等开发框架的对比如下：

—3—

Dify 中支持的多种检索模式

第一、向量检索模式

通过创建查询的向量嵌入 Embedding，并检索与之最匹配的文本段落。

TopK 筛选：此功能用于挑选出与用户查询最相关的文本段落。系统会根据所选模型的上下文窗口大小自动调整选取的段落数量。默认情况下，系统设定为选取3个段落。

Score 阈值设置：该设置用于确定文本段落筛选的相似度门槛，即仅召回分数超过设定值的文本段落。系统默认不启用此设置，不对召回的文本段落的相似度进行过滤。若启用，默认分数阈值为0.5。

Rerank 重排序模型：在“模型供应商”页面配置好重排序模型的 API 密钥后，可以在检索设置中启用“重排序模型”。系统将在语义检索完成后，对已召回的文档进行再次的语义排序，以提升排序效果。启用重排序模型后，TopK 和 Score 阈值的设置仅适用于重排序阶段。

第二、全文检索模式

索引文档中的所有词汇，从而允许用户查询任意词汇，并返回包含这些词汇的文本片段。

TopK 筛选：该功能旨在挑选出与用户查询最匹配的文本段落。系统将根据所选模型的上下文窗口大小自动调整选取的段落数。默认设置下，系统将选择前3个最相关的段落。

Rerank 重排序模型：在"模型供应商"页面完成重排序模型的 API 密钥配置后，你可以在检索设置中启用"重排序模型"。这样，系统将在执行全文检索并召回文档后，对这些文档进行一次基于语义的重新排序，以提升排序的准确性。一旦启用了重排序模型，TopK 和 Score 阈值的配置将仅在重排序阶段发挥作用。

第三、混合检索模式

为什么需要混合检索模式？

向量检索和全文检索各有优点，其中向量检索在处理复杂语义文本查询时表现出色，能够理解相近的语义，支持多语言及多模态理解，并且具备较高的容错性。而全文检索的优势在于：能够实现精确匹配，适用于简短字符的匹配，并倾向于匹配低频词汇。在信息检索领域，向量检索和全文搜索各有独到之处。通过结合多个检索系统，混合检索策略实现了不同检索技术之间的相互补充。

在 Dify 中同时执行全文检索和向量检索，并应用重排序步骤，从两类查询结果中选择匹配用户问题的最佳结果，需配置 Rerank 模型 API。

TopK 筛选：此功能旨在挑选出与用户查询最贴近的文本段落。系统将基于所选模型的上下文窗口大小自动调整所选片段的数量。默认设置下，系统选取的片段数为3。

Rerank 重排序模型：在"模型供应商"页面配置好重排序模型的 API 密钥后，你可以在检索设置中启用"重排序模型"。这样，系统将在混合检索完成后，对已经检索到的文档结果进行一次基于语义的重新排序，以提升排序效果。启用重排序模型后，TopK 和 Scroe 分数阈值的配置将仅应用于重排序阶段。

—4—

Dify 支持的 Rerank 重排序策略

Rerank 重排序模型通过计算候选文档集合与用户查询的语义契合度，进而对这些文档进行基于语义的重新排序，以此提升排序的准确性。该过程涉及对用户查询与每份候选文档之间的相关性分数进行计算，并按照相关性分数从高到低对文档列表进行排序。常见的重排序模型包括：Cohere rerank、bge-reranker 等。重排序通常被置于搜索流程的最终阶段，它特别适用于整合并优化来自不同检索系统的搜索结果。

如何配置 Rerank 模型？

Dify 目前已支持 Cohere Rerank 模型，通过进入“模型供应商-> Cohere”页面填入 Rerank 模型的 API 秘钥：

—5—

Dify 支持的召回策略

在用户搭建知识库问答型 AI 应用的过程中，若应用中整合了多个数据集，Dify在执行检索操作时提供了两种召回策略：一种是N选1的召回策略，另一种则是多路召回策略。

第一、N选1召回模式

当用户上传数据集时，系统会自动为每个数据集生成一个概要性的描述。为了在这种模式下实现最优的召回效果，用户可以在“数据集->设置->数据集描述”路径下查看系统生成的默认概要描述，并确认该描述是否准确地反映了数据集的内容。基于用户的查询意图和数据集的描述，Agent 将自主决定选取最符合的单个数据集进行文本检索，这种方式适用于数据集之间区分度较高且总量较少的应用场景。

第二、多路召回模式（推荐使用）

此模式会根据用户意图同时与所有数据集进行匹配，并行地从多个数据集中检索相关的文本片段。通过 Rerank 重排序阶段，系统将从多个数据集的检索结果中挑选出与用户问题最匹配的最佳答案。使用此模式需要配置 Rerank 模型的 API。在多路召回模式下，检索器会遍历所有与应用关联的数据集，寻找与用户问题相关的文本，然后将来自不同数据集的检索结果合并，并利用 Rerank模型对这些文档进行基于语义的重新排序。

为了帮助同学们彻底掌握大模型 RAG、微调、Agent 等应用的深层原理，在企业中的应用实践，今天我会开场直播和同学们深度剖析，请同学们点击以下预约按钮免费预约。

—6—

AI 大模型直播课程

大模型的技术体系非常复杂，即使有了知识图谱和学习路线后，快速掌握并不容易，我们打造了大模型应用技术的系列直播课程，包括：通用大模型技术架构原理、大模型 Agent 应用开发、企业私有大模型开发、向量数据库、大模型应用治理、大模型应用行业落地案例等6项核心技能，帮助同学们快速掌握 AI 大模型的技能。

🔥即将开播

立即扫码，即可免费预约

进入直播，大佬直播在线答疑！