Dify安装使用说明

16 篇文章 0 订阅
4 篇文章 0 订阅

目录


dify功能简介

dify可以说是一个功能不错的LLMOps,可以通过dify集中管理模型,可以通过界面创建AI应用,可以上传文档形成知识库,可以创建自定义工具(API),并可以对外提供API。

相关功能类似Openai的GPTs或智谱的智能体,其他大厂的大模型也有类似功能,不过貌似只有dify是开源的。

这就为个人本地部署AI应用提供了便利。

dify安装部署

dify提供docker方式安装,不过不同于一般的项目只有一个docker容器,dify有多个容器需要部署切相互之间还有调用关系,因此这里用到了yaml文件。

首先打开dify的Github地址如下,看下dify基本功能介绍

dify Github 地址 langgenius/dify: An Open-Source Assistants API and GPTs alternative. Dify.AI is an LLM application development platform. It integrates the concepts of Backend as a Service and LLMOps, covering the core tech stack required for building generative AI-native applications, including a built-in RAG engine. (github.com)icon-default.png?t=N7T8https://github.com/langgenius/dify接下来要安装部署,就不要看readme写的了,对于小白来说,容易被误导(比如我就是。。),我们直接看dify官网详细的部署说,其实操作过一次,就基本清楚了

通过docker部署difyicon-default.png?t=N7T8https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose基本过程:

1、通过git clone 下载dify代码

git clone https://github.com/langgenius/dify.git

2、切到dify下docker文件夹运行docker容器

cd dify/docker
docker compose up -d

这个时候docker compose会根据docker-compose.yaml文件的配置运行docker容器。

之前我天真以为运行docker都需要从dockerhub下载镜像然后运行,其实可以自己构建镜像然后运行,通过yaml文件实现更灵活更复杂的容器部署。

3、访问并初始化

docker容器列表中可以看到已经成功运行7个容器,但是只有nginx容易对外暴漏了端口,默认的80,点击即可打开dify系统。第一次需要先新建账号、密码,后续即可账号、密码登录开始使用dify。端口号也可以通过docker-compose.yaml自行修改,修改后再次执行docker compose up -d即可。

4、应用预览、API地址调整

如果修改了默认端口号,那么应用预览、API地址也需要响应做调整,相关配置也在yaml文件,不过在api容器下

SERVICE_API_URL: 'http://localhost:1080'

APP_WEB_URL: 'http://localhost:1080'

dify使用

模型设置

首先需要进行模型设置,应用要可以使用都是依赖于模型提供推理服务。dify支持的模型还算比较全,Openai、讯飞星火、智谱chatglm、零一万物、通义千问、文心一言、月之暗面,还支持Ollama、localai,还有一个选项是兼容Openai的模型,这样我就可以把本地部署的one-api也可以配置上。模型配置这块可以打个高分。

操作:

1、首页右上角,点击个人账户,下拉点击设置,即可打开设置页面

2、左侧点击模型供应商,配置需要的模型即可,目前智谱、通义千问、讯飞、零一都可以薅羊毛

3、这里一定要配置好系统模型,新建应用自动生成提示词、显示回答问题提示都用到了,配置就在当前页面的右上角“系统模型设置”

4、模型验证,首页随便新建一个应用,如果可以正常聊天有回复,说明模型配置成功

应用配置

AI应用核心就是提示词,大概操作:

1、首页,工作室,创建应用

2、弹出页面,选择应用类型,助手就是多轮对话聊天的,文本生成应用主要用于生成文章摘要翻译等

对于助手,还可以选择基础助手、智能助手,默认基础助手,智能助手的话可以自动调用各种工具

3、编排

1)主要就是提示词,可以由系统自动生成,也可以自己写,也可以专家模式(本质就是设置system prompt)

2)变量,可以设置变量。给我讲一个关于{{subject}}的笑话。实际用户输入印度,即可自动生成关于印度的笑话

注意,我个人发现,提示词自动生成,只能使用Openai的模型3.5也行,配置其他模型为系统模型进行自动生成就会各种报错

3)上下文

即引用知识库,这里就用到了RAG(增强检索生成),有些内容是私有知识,大模型不一定有,这个时候就可以先通过知识库查询,然后大模型整合之后,再输出给用户。

知识库,主要就是上传本地文档即可,一般用于QA问答、知识检索等

4)添加其他功能,如对话开场百、下一步对话建议、语音转文字、文字转语音、内容审查、标记回复,功能真心强大

4、WebApp部署

页面左侧,概览,第一块内容

在这里可以预览应用,在新的页面打开应用,可以直接进行对话

定制化,可以将应用部署到服务器

嵌入,可以将当前应用嵌入到其他页面

设置,可以设置WebApp名称、语言、版权等信息

5、API调用

页面左侧,概览,第二块内容

设置API密钥,参考API文档,即可以API方式进行对话功能

实现了API即应用

工具

类似插件,如网页搜索、天气查询等,也可以自定义,基本是对接webapi

整体评价

整体上dify在AI应用的构造上挺好的。

向上,在模型对接上,可以对接外部大模型,也可以对接本地大模型。

向内,在自定义应用上,可以可以结合RAG、插件(类Function call)、自动生成提示词等

向下,在应用发布上,可以预览、对外发布、内嵌,API访问。

功能还是挺全面的。

dify更新

最近dify更新了功能,开始支持workflow,也想试试到底如何。目前本地系统上也有版本更新提示

点击更新链接就到了Github的release页面,可以看到更新说明

照着执行了,可还是不行。

于是通过readme 部署文档链接,看了详细说明,之前第一次部署也是看的这里。这里更新说明:

照着执行了还是不行。

这个时候突然想起来,执行git pull 的时候报了个error:docker-compose.yaml已修改,一开始选择性忽略了。确实自己改过端口号映射,那么试着先把这个文件剪切到其他地方试试呢。

再次git pull命令行窗口哗啦哗啦开始滚动——更新了很多文件,之前error以后就没继续更新文件了

docker-compose.yaml还是按之前的内容修改

切记:不要覆盖回去,我看这次新增了一个容器sandbox(沙箱)

然后按如上命令执行,容器重启后,dify终于更新了

  • 32
    点赞
  • 40
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值