【老实人学代码】Dify系列-知识库导入设置指南

哈喽，老铁们！我最近在接触使用Dify。为了弄懂里面的逻辑和配置，所以我查询了不少资料和说明，所以总结了不少知识跟你们分享，欢迎随时指点进步。

1. Dify 是什么？

Dify 就像是一个智能小助手的训练基地，它能让 AI 变得更懂你，就像是给 AI 装上了一个超级大脑，让它能快速学会你想让它知道的东西，然后帮你解决问题。

2. Dify 的知识库是什么？

知识库就是 AI 的 “学习资料库”，你可以把各种文件，比如公司内部文档、常见问题解答（FAQ）、规范手册等放进去。这些资料就像是 AI 学习的课本，它能从中学习知识，然后在需要的时候，比如回答问题或者执行任务时，把这些知识用起来。

3. Dify 的知识库有什么用？

Dify 的知识库就像是 AI 的 “知识宝典”，能让 AI 掌握最新的信息。比如公司的政策更新了，或者产品有了新功能，你只要把相关文档放进知识库，AI 就能马上学会，这样它就能用最新鲜的知识来回答客户的问题，不会因为知识过时而答错。而且，这还能避免 AI 凭空编造答案，让它更靠谱。

4. Dify 的知识库导入本地文件有哪些配置？

把本地文件导进知识库，就像是给 AI 准备学习资料，有三个关键步骤：分段设置、索引方式和检索设置。

4.1 分段设置

4.1.1 术语解释

分段标识符 ： 你可以把它想象成 AI 学习资料的 “段落标记”。比如一篇文章，你用一个空行或者一个特定的符号来分开不同的段落，这样 AI 就知道哪里是一个段落的结束，哪里是另一个段落的开始，方便它一段一段地学。

分段最大长度 ： 这就像是给 AI 学习的每个小段落定一个 “长度上限”。如果一段太长，AI 学起来费劲，记起来也麻烦。设置一个合适的长度，能让 AI 更轻松地消化知识。

分段重叠长度 ： 有时候一段话的结尾和下一段的开头可能是紧密相连的，意思还没说完。设置重叠长度，就像是让前后两个段落稍微 “重叠” 一下，这样 AI 就不会因为段落分开而丢了意思的连贯性。

文本预处理规则 ： 替换掉连续的空格、换行符和制表符：这就好比整理书桌，把那些乱七八糟的没用的空白都清理掉，让文本更干净整齐，方便 AI 学习。

删除所有 URL 和电子邮件地址： 这些内容对 AI 理解知识没啥用，还可能干扰它，所以直接删掉，让 AI 能专注于真正有价值的信息。

使用 Q&A 分段，语言 Chinese Simplified (通用模式才有)： 要是文档里有问答内容，按照这个规则设置，就能把问题和答案整整齐齐地分开，AI 学起来就像看一本问答手册，一目了然，特别适合用来学习常见问题解答这类内容。

Token ： 你可以把它简单理解为文本里的一个个 “小单元”，AI 在处理文本的时候，会把这些小单元一个个地分析，计算它们的长度，也是按照这个来分割文本的。

4.1.2 通用模式

就是按照普通的方式去分割文本，把文档里的内容分成一段一段的，每一段都尽量保持完整的意思，方便 AI 学习和记忆。

4.1.3 父子分段模式

段落 ：在这种模式下，你可以把文档里的内容分成一个个小段落，每个段落就像是一个 “小知识块”，AI 可以单独地去学每个小块的内容，这样它能更细致地掌握知识。

全文 ：AI 这时候会把整个文档的内容当作一个整体来看，适合那些需要从全局角度去理解的文档，比如一篇完整的报告或者故事。

4.2 索引方式

4.2.1 术语解释

Rerank 模型 ： 这就像是一个 “答案排序器”。当 AI 找到一堆可能相关的答案时，这个模型会给这些答案排个序，把最靠谱、最相关的答案放到前面，让 AI 能优先用好的答案来回答问题。

向量检索 ： 可以想象成 AI 用一种特殊的方式把文本内容转化成一组组数字（向量），然后通过计算这些数字之间的相似度，快速找到和问题最相关的文本内容。这种方式能让 AI 更精准地定位答案，就像在地图上用坐标找位置一样。

倒排索引 ： 就像是给文档里的每个词都建了一个 “反向档案”，通过单词来快速找到包含这个词的文档或者段落。这种方式很适合快速查找文本中包含特定关键词的内容，就像在图书馆的目录里通过书名或者作者快速找到对应的书一样。

4.2.2 高质量

高质量索引就像给 AI 配了个超级智能导师，它会用一种 Embedding 嵌入模型，把知识库里的文本段落变成数字向量，这让 AI 能更精准地理解文本的含义。

就好比你问一个很复杂的问题，AI 能像侦探一样，通过这些向量找到和问题最相关的知识片段，给出准确的答案。比如在法律咨询中，用户问到复杂的合同条款问题，高质量索引能帮助 AI 从知识库中找到最相关的法律条款和解释。

不过呢，这样的高精度索引需要消耗更多的计算资源和费用，而且一旦选择了高质量索引模式，后续就无法再降级成经济索引模式了。

4.2.3 经济索引

经济索引就像是给 AI 配了个简单实用的向导，它主要依靠关键词来查找答案。

知识库里的每个文本块会挑选出 10 个关键词，当用户提问时，AI 就根据这些关键词去匹配相关内容。这种方式有点像我们以前查字典，按照关键词快速定位答案，虽然简单，但也能满足一些基本的查询需求。比如一些常见问题解答（FAQ），用户问 “如何重置密码”，AI 就通过关键词“重置”“密码”来找到相关的操作步骤。不过，因为它是基于关键词匹配，对语义的理解可能不够深入，所以答案的精准度相对高质量索引会稍差一些。

但是呢，经济索引的好处是成本低、速度快，很适合预算有限，或者对答案质量要求不是特别高的场景。而且经济索引模式下，还可以通过调节 TopK（返回的相似文本段落数量）以及 Score 阈值（过滤掉一定相似度以下的片段）来权衡召回率和准确率之间的关系。

4.3 检索设置

4.3.1 向量检索（高质量）

用向量检索的方法来查找答案，这种方式能更精准地理解问题和文本内容之间的语义关系，找到最相关的答案，就像让 AI 用放大镜仔细地在知识库里找答案，适合对答案质量要求高的时候用。

4.3.2 全文检索（高质量）

AI 会把整个文档内容都仔细地检查一遍，查找包含相关关键词的内容，然后从这些内容中提取答案。这种方式能穷尽所有可能的地方找答案，就像 AI 踏踏实实地把一本书从头到尾翻一遍找答案，比较细致。

4.3.3 混合检索（高质量）

将多种检索方法结合起来，比如向量检索和全文检索一起用，这样既能利用向量检索的精准语义理解，又能借助全文检索的全面性，让 AI 找到更全面、更准确的答案，就像是 AI 同时用上了放大镜和地毯式搜索，全方位地查找答案。

4.3.4 倒排索引（经济）

用倒排索引的方法来快速定位包含特定关键词的文本内容，这种方式速度快、效率高，但可能在语义理解上稍逊一筹，适合对成本比较敏感，同时对答案质量要求稍低一些的场景，就像是 AI 用快速查找目录的方式去找答案，快但是可能不够细致。