Dify项目
文章平均质量分 78
NLP工程化
NLP工程师
展开
-
在Dify中添加非内置的SiliconCloud模型
本文介绍了在Dify中添加SiliconCloud模型的两种方式,重点介绍了Dify中添加非内置的SiliconCloud模型的操作过程。原创 2024-08-08 21:14:13 · 448 阅读 · 0 评论 -
Dify中语音和文字间转换问题的一种暂时注释方式
本文主要解释了Dify中语音和文字间转换可能会遇到的问题,并给出了一种暂时注释的解决方案。原创 2024-07-27 18:53:28 · 770 阅读 · 5 评论 -
图文长故事生成器工作流
本文主要从2个角度介绍了图文长故事生成器工作流,分别是每个故事画一张图(比如关于心态的故事)和每个段落画一张图。因为每个故事由多个段落组成,后者即对每个段落画一张图。更具体的工作流不再介绍,详细参考文献[2]。原创 2024-07-27 18:52:29 · 1057 阅读 · 0 评论 -
Dify自带的长故事生成器工作流
本文主要简要的介绍了Dify自带的长故事生成器工作流的实践过程,尤其是迭代节点和代码节点的灵活组合,可以让Dify工作流如虎添翼。当工作流执行结束后,可以通过查看日志->追踪,对于工作流中每个节点执行情况进行详细的查看和调试。原创 2024-07-27 18:51:16 · 594 阅读 · 0 评论 -
Dify中HTTP请求节点的常见操作
HTTP节点包括API请求类型(GET、POST、HEAD、PATCH、PUT、DELETE),鉴权类型(无、API-Key基础、API-Key Bearer、API-Key自定义),HEADERS键值设置,PARAMS键值设置,BODY,超时设置(连接超时、读取超时、写入超时),输出变量(body String 响应内容、status_code Number 响应状态码、headers Object 响应头列表 JSON、files Array[File] 文件列表)。原创 2024-07-27 18:49:25 · 1061 阅读 · 5 评论 -
Dify中接入GPT-4o mini模型
GPT-4o mini("o"代表"omni")是小型型号类别中最先进的型号,也是OpenAI迄今为止最便宜的型号。它是多模态的(接受文本或图像输入并输出文本),具有比 gpt-3.5-turbo 更高的智能,但速度同样快。它旨在用于较小的任务,包括视觉任务。建议在之前使用 gpt-3.5-turbo 的地方选择 gpt-4o-mini ,因为此模型功能更强大且更便宜。原创 2024-07-21 01:22:36 · 719 阅读 · 0 评论 -
Dify v0.6.14源码部署
Dify v0.6.14源码部署。原创 2024-07-16 23:12:17 · 954 阅读 · 0 评论 -
Dify中的分段设置参数
自动设置分段规则与预处理规则,如果不了解这些参数建议选择此项。原创 2024-07-15 23:01:47 · 596 阅读 · 0 评论 -
Dify中创建知识库操作和实现过程
方式一:先创建知识库,然后上传文件;方式二:直接上传文件,然后创建默认知识库。原创 2024-07-15 22:59:59 · 1219 阅读 · 0 评论 -
Dify中的高质量索引模式实现过程
思考在什么情况下会使用到高质量索引模式呢?第1种情况是在知识库中上传文档,文档被拆分为段落后需要进行编码(增加);第2种情况是在召回测试的时候,需要对query进行编码(查询);第3种情况是当文档中的段落增加和更新时需要进行编码(增加和更新)。索引模式是针对知识库设置的,即对该知识库中所有的文档都生效。本文主要解释Dify中的高质量索引模式实现过程。原创 2024-07-15 22:54:56 · 1629 阅读 · 0 评论 -
TF和TF-IDF区别和联系
TF(Term Frequency)和TF-IDF(Term Frequency-Inverse Document Frequency)都是用于文本挖掘和信息检索的统计方法,用于评估一个词在文档或文档集合中的重要性。原创 2024-07-15 22:53:43 · 578 阅读 · 0 评论 -
Dify中Jieba类的create()方法实现过程
整个create方法的目的是为了处理一批文本,提取它们的关键词,并更新关键词表,以便于后续的关键词搜索和索引。这个过程通过获取锁来保证数据的一致性和操作的原子性。该create方法是Jieba类的一部分,用于处理文本列表,提取关键词,并更新关键词表。原创 2024-07-14 23:04:34 · 717 阅读 · 0 评论 -
Dify中的经济索引模式实现过程
extract当索引模式为经济时,使用离线的向量引擎、关键词索引等方式,降低了准确度但无需花费 Token。原创 2024-07-14 23:02:46 · 3937 阅读 · 0 评论 -
Dify中高质量索引模式时,通过线程池处理chunk过程
本文主要介绍了Dify中高质量索引模式时,如何通过线程池执行器来处理chunk的过程。源码位置:dify\api\core\indexing_runner.py\IndexingRunner._load。核心思想:假设一个数据集中有一个文档,该文档可以拆分为12个段(segment)。如果chunk_size=10,那么分为2批提交给线程池执行器进行处理。原创 2024-07-13 23:29:19 · 1008 阅读 · 0 评论 -
Dify中固定递归字符文本分割器的chunk长度计算方式
本文主要从源码角度剖析了Dify中FixedRecursiveCharacterTextSplitter的chunk长度计算方式。原创 2024-07-12 23:03:07 · 821 阅读 · 0 评论 -
Dify中的知识库API列表
通过文本/文件创建/更新/删除文档/查询文档嵌入状态,知识库创建/知识库查询/文档列表查询,分段增/删/改/查。原创 2024-07-11 23:03:10 · 649 阅读 · 0 评论 -
Dify中的RAG和知识库
向量检索优势:复杂语义的文本查找,相近语义理解,多语言理解,多模态理解,容错性。传统关键词搜索优势:精确匹配,少量字符的匹配,倾向低频词汇的匹配。向量检索和关键词检索在检索领域各有其优势。混合检索通过多个检索系统的组合,实现了多个检索技术之间的互补。原创 2024-07-11 23:01:49 · 2262 阅读 · 0 评论 -
Dify工作流中的迭代节点
迭代节点的本质就是对数组内容循环处理。对数组执行多次步骤直至输出所有结果。迭代步骤在列表中的每个条目(item)上执行相同的步骤。使用迭代的条件是确保输入值已经格式化为列表对象。迭代节点允许 AI 工作流处理更复杂的处理逻辑,迭代节点是循环节点的友好版本,它在自定义程度上做出了一些妥协,以便非技术用户能够快速入门。原创 2024-07-10 22:51:17 · 2681 阅读 · 1 评论 -
Dify工作流中的参数提取节点
利用 LLM 从自然语言推理并提取结构化参数,用于后置的工具调用或 HTTP 请求。Dify 工作流内提供了丰富的工具选择,其中大多数工具的输入为结构化参数,参数提取器可以将用户的自然语言转换为工具可识别的参数,方便工具调用。工作流内的部分节点有特定的数据格式传入要求,如迭代节点的输入要求为数组格式,参数提取器可以方便的实现结构化参数的转换。原创 2024-07-10 22:50:03 · 1293 阅读 · 0 评论 -
Dify工作流中的变量聚合节点
变量聚合节点(原变量赋值节点)负责整合不同分支的输出结果,确保无论哪个分支被执行,其结果都能通过一个统一的变量来引用和访问。这在多分支的情况下非常有用,可将不同分支下相同作用的变量映射为一个输出变量,避免下游节点重复定义。目的是将多路分支的变量聚合为一个变量,以实现下游节点统一配置。原创 2024-07-10 22:48:36 · 596 阅读 · 0 评论 -
Dify中的工具
Dify中的工具分为内置工具(硬编码)和第三方工具(OpenAPI Swagger/ChatGPT Plugin)。工具可被Workflow(工作流)和Agent使用,当然Workflow也可被发布为工具,这样Workflow(工作流)中又可以使用Workflow(工具)。原创 2024-07-10 22:46:11 · 1476 阅读 · 0 评论 -
dify-api的Dockerfile分析
dify-api的Dockerfile分析。原创 2024-07-10 22:44:20 · 1039 阅读 · 0 评论 -
dify-web的Dockerfile分析
dify-web的Dockerfile分析。原创 2024-07-10 22:42:12 · 1128 阅读 · 0 评论 -
在Windows平台上通过PyCharm调试Celery任务
在分析Dify源码中Celery任务时候,刚开始使用命令行执行,不能够很方便的调试Celery任务中间变量。经过一番尝试终于可以在Windows平台上通过PyCharm来调试Celery任务了。原创 2024-07-10 22:39:01 · 496 阅读 · 3 评论 -
dify/api/models/workflow.py文件中的数据表
源码位置:dify/api/models/workflow.py原创 2024-07-09 17:55:38 · 915 阅读 · 0 评论 -
dify/api/models/web.py文件中的数据表
源码位置:dify/api/models/web.py原创 2024-07-09 17:54:18 · 490 阅读 · 0 评论 -
dify/api/models/tools.py文件中的数据表
源码位置:dify/api/models/tools.py原创 2024-07-09 17:53:39 · 756 阅读 · 0 评论 -
dify/api/models/tool.py文件中的数据表
源码位置:dify/api/models/tool.py原创 2024-07-09 17:52:57 · 245 阅读 · 0 评论 -
dify/api/models/task.py文件中的数据表
源码位置:dify/api/models/task.py原创 2024-07-09 17:52:11 · 477 阅读 · 0 评论 -
dify/api/models/source.py文件中的数据表
源码位置:dify/api/models/source.py原创 2024-07-09 17:51:20 · 231 阅读 · 0 评论 -
Dify中的weaviate向量数据库操作
要搞清楚数据在postgre,redis和weaviate中的增删改查,深刻理解Dify操作过程和实现过程。原创 2024-07-09 17:46:24 · 1810 阅读 · 0 评论 -
dify/api/models/provider.py文件中的数据表
源码位置:dify/api/models/provider.py原创 2024-07-08 17:20:43 · 465 阅读 · 0 评论 -
dify/api/models/model.py文件中的数据表
源码位置:dify/api/models/model.py原创 2024-07-08 17:20:03 · 954 阅读 · 0 评论 -
dify/api/models/dataset.py文件中的数据表
源码位置:dify/api/models/dataset.py原创 2024-07-08 17:19:10 · 389 阅读 · 0 评论 -
dify/api/models/api_based_extension.py文件中的数据表
源码位置:dify/api/models/api_based_extension.py原创 2024-07-08 17:17:26 · 155 阅读 · 0 评论 -
dify/api/models/account.py文件中的数据表
源码位置:dify\api\models\account.py。原创 2024-07-08 17:14:42 · 389 阅读 · 0 评论 -
Dify中的API接口:对话、生成和工作流
对话应用支持会话持久化,可将之前的聊天记录作为上下进行回答,可适用于聊天/客服 AI 等。原创 2024-07-08 17:13:29 · 2186 阅读 · 0 评论 -
Dify后端源码目录结构和蓝图
Dify 后端源码的目录结构和各目录的功能。原创 2024-07-08 17:12:22 · 1464 阅读 · 0 评论 -
Dify中的docker-compose.yaml分析-web、db、redis、weaviate等
本文主要介绍了web、db、redis、weaviate、sandbox和ssrf_proxy等服务的配置,除此之外,还有Qdrant(向量数据库)、Milvus(向量数据库)和Nginx(反向代理)服务不再介绍。原创 2024-07-08 08:39:21 · 1949 阅读 · 0 评论 -
Dify中的docker-compose.yaml分析-worker
worker 服务:启动 Celery worker 服务以处理任务队列。原创 2024-07-08 08:38:12 · 636 阅读 · 0 评论