dify召回测试/引用归属

召回测试/引用归属

1 召回测试

Dify 知识库内提供了文本召回测试的功能,用于模拟用户输入关键词后调用知识库内容区块。召回的区块将按照分数高低进行排序并发送至 LLM。一般而言,问题与内容块的匹配度越高,LLM 所输出的答案也就更加贴近源文档,文本“训练效果”越好。

你可以使用不同的检索方式及参数配置,查看召回的内容区块质量与效果。不同的知识库分段模式对应不同的召回测试方法。

通用模式父子分段模式

通用模式

源文本 输入框输入常见的用户问题,点击 测试 按钮即可在右侧的 召回段落 内查看召回结果。

在通用模式下,内容区块相互独立;内容块右上角的分数为内容与关键词的匹配分数。得分越高,说明问题关键词与内容块的的匹配度越高。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

通用模式 - 召回内容块

轻点内容块即可查看所引用的内容详情。每个内容块底部将展示所引用的文档信息源,你可以借此判断该内容分段是否合理。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

查看召回内容详情

记录 内可以查看到历史的查询记录;若知识库已关联至应用内,由应用内发起的知识库查询记录也可以在此查看。

修改文本检索方式

点击源文本输入框右上角的图标即可更换当前知识库的检索方式与具体参数,保存之后仅在当前召回测试的调试过程中生效,你可以借此比较不同检索设置的效果。如果你想要修改当前知识库的检索方式,前往“知识库设置” > “检索设置”中进行设置。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

召回测试-检索设置

召回测试建议步骤:

  1. 设计和整理能够覆盖用户常见问题的测试用例/测试问题集/指引内容;
  2. 根据内容特点和使用场景(是否为问答内容、是否涉及多语言问答等),选择合适的检索策略。关于不同检索方式的优缺点,请参考扩展阅读检索增强生成(RAG)
  3. 调整召回分段数量(TopK)和召回分数阈值(Score),根据实际的应用场景、包括文档本身的质量来选择合适的参数组合。

TopK 值和召回阈值(Score )如何配置

  • TopK 代表按相似分数倒排时召回分段的最大个数。TopK 值调小,将会召回更少分段,可能导致召回的相关文本不全;TopK 值调大,将召回更多分段,可能导致召回语义相关性较低的分段使得 LLM 回复质量降低。
  • 召回阈值(Score)代表允许召回分段的最低相似分数。 召回分数调小,将会召回更多分段,可能导致召回相关度较低的分段;召回分数阈值调大,将会召回更少分段,过大时将会导致丢失相关分段。

2 引用与归属

在应用内的“上下文”添加知识库后,可以在 “添加功能” 内开启 “引用与归属”。在应用内输入问题后,若涉及已关联的知识库文档,将标注内容的引用来源。你可以通过此方式检查知识库所召回的内容分段是否符合预期。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

打开引用与归属功能

开启功能后,当 LLM 引用知识库内容来回答问题时,可以在回复内容下面查看到具体的引用段落信息,包括原始分段文本、分段序号、匹配度等。点击引用分段上方的 跳转至知识库,可以快捷访问该分段所在的知识库分段列表,方便开发者进行调试编辑。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

查看回复内容的引用信息

查看知识库内已关联的应用

知识库将会在左侧信息栏中显示已关联的应用数量。将鼠标悬停至圆形信息图标时将显示所有已关联的 Apps 列表,点击右侧的跳转按钮即可快速查看对应的应用。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

查看知识库内已关联的应用


links:

召回测试/引用归属 | Dify

### 获取当前工作区插件任务的分页列表 通过 `Dify Console API` 可以实现对当前工作区插件任务的分页查询功能。具体来说,API 请求可以通过设置参数如 `page` 和 `page_size` 来控制返回的任务数量以及指定页面。 以下是请求的具体说明: #### 请求方法 使用 HTTP GET 方法调用接口。 #### URL 路径 ``` /workspaces/current/plugin/tasks?page={page}&page_size={page_size} ``` 其中 `{page}` 表示要获取的页码,而 `{page_size}` 则表示每一页的最大记录数。 #### 参数描述 | 参数名 | 类型 | 是否必填 | 描述 | |------------|--------|----------|----------------------------------------------------------------------| | page | int | 是 | 当前页码,起始值为 1 | | page_size | int | 否 | 每页显示的任务条目数,默认值通常为 20 或者由服务端配置决定 | #### 响应结构 响应数据一般会包含以下字段: - **total**: 总记录数。 - **items**: 返回的任务数组,每一项代表一条任务详情。 - **current_page**: 当前页码。 - **per_page**: 每页大小。 #### 示例代码 下面是一个 Python 的示例代码片段用于演示如何发起该请求并解析结果: ```python import requests url = "https://api.example.com/workspaces/current/plugin/tasks" params = { 'page': 1, 'page_size': 100 } headers = { 'Authorization': 'Bearer YOUR_ACCESS_TOKEN', # 替换为实际的访问令牌 'Content-Type': 'application/json' } response = requests.get(url, params=params, headers=headers) if response.status_code == 200: data = response.json() total_tasks = data['total'] tasks_list = data['items'] print(f"Total Tasks: {total_tasks}") for task in tasks_list: print(task) else: print(f"Error fetching tasks: {response.text}") ``` 需要注意的是,在 YAML 文件中调整依赖版本时,请按照先前提到的方式将 `dify-api` 和 `dify-web` 版本号设定为稳定版 `0.5.3`[^1],从而避免因测试版可能存在的兼容性问题影响到正常运行效果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

学亮编程手记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值