自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 dify tool插件开发流程

这是因为插件未经过dify审核,存在安全隐患,解决方法可以是在 dify目录下的.env 配置文件的末尾添加FORCE_VERIFYING_SIGNATURE=false 字段,重启 Dify 服务。目录下(不是dify目录下),有一个.env.example文件,复制.env.example文件为.env,并修改远程服务器地址和调试key。这里进行插件的配置,使用方向键选择,使用tab键授予权限,选择工具插件需要的权限,最后回车。在dify插件页面会显示调试用的插件,可以在dify中进行插件的调试。

2025-05-03 20:24:30 1376

原创 dify插件在线和离线安装

注意:即使本地插件安装也需要联网,因为插件是由python开发,difypkg文件中只包含一个基本的python文件,安装时需要联网下载python库。如果需要离线安装dify插件,需要先在联网状态下进行dify部署,并且完成插件安装,同时下载所需安装插件的difypkg文件。启动完成在插件页面发现没有对应的插件,这时候点击本地插件,安装之前下载的difypkg文件,安装完成之后插件可以用了。如果下载,会下载一个.difypkg的文件,下载完成之后仍然可以进行安装,在安装插件选项中选择本地插件即可安装。

2025-04-03 22:52:55 2359

原创 使用vLLM部署大模型

vLLM 是一个快速且易于使用的库,专为大型语言模型 (LLM) 的推理和部署而设计。vLLM安装vLLM部署大模型可以使用本地推理服务和API服务的方式。

2025-03-12 20:41:41 912

原创 Dify工作流之创建一个可以上传文档和图片的应用

都没有的时候,直接回复。工作流通过将复杂的任务分解成较小的步骤(节点)降低系统复杂度,减少了对提示词技术和模型推理能力的依赖,提高了 LLM 应用面向复杂任务的性能,提升了系统的可解释性、稳定性和容错性。列表操作可以单独提取数组内的变量,并可以设置过滤条件,返回满足过滤条件的数组元素,将其传递给下一个节点。(如果需要构建可以同时上传不同类型文件的应用,如同时上传图片和文档,可以使用列表操作来过滤)点击右上角的功能,将文件上传功能打开,并进行设置,勾选文档和图片,并设置好最大上传数量,点击保存。

2025-02-16 14:41:20 5758 8

原创 使用ollama导入模型

ollama可以轻松在本地部署大语言模型,简单方便,并且内置了丰富的大语言模型库,涵盖多种类型的模型,可以很方便的拉取模型。对于safetensors格式的模型,有些模型ollama无法导入(如 deepseek的模型),因此需要使用llama.cpp来进行格式的转换。从safetensors权重导入模型,首先需要创建一个Modelfile文件,其中包含一个指向包含你的 Safetensors 权重的目录的 FROM。在导入 GGUF 适配器时,重要的是使用与创建适配器时所用的相同基础模型。

2025-02-10 23:02:45 4463

原创 RagFlow的本地部署

RAGFlow 是一款开源的 RAG(Retrieval-Augmented Generation)引擎,可以用于高效处理信息,为多种场景提供智能解决方案,如本地知识库的构建、问答系统的搭建,大量文本信息的处理等。另外,当在UI界面中选择以下其他模型时,会自动从HuggingFace下载,如果不能连接HuggingFace,可以设置以下环境变量,从镜像网点下载;模型名称填写ollama中模型的名称,可以用ollama list命令查看已安装的模型。在添加了的模型中,会显示有ollama。

2025-02-07 13:49:43 14931 5

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除