Dify本地部署(三)

Dify本地部署(三)

书接上文:前两个章节介绍了服务器、基础环境、和容器镜像说明,本章针对dify功能做相关扫盲。



前言

提示:这里可以添加本文要记录的大概内容:

首先说明:dify本身不涵盖模型、智能体,它的能力是集成模型功能,能在可视化的方式下进行模型功能调用测试。你可以理解模型为人的大脑,而dify为人的四肢(我觉得比喻还是比较形象的 嘿嘿)----闲话少唠 直接上车!

补充其他“四肢” (相关的能力验证 后续有时间单独出篇幅)各有特色 按需使用
请添加图片描述


一、模型供应商是什么?

通俗点讲:你创造的智能体要使用的的“脑子”
专业点讲:deepseek-r1 qwen2.5 google/gemma-2-27b-it

1.在哪里添加

(注册省略 也就是邮箱+用户名+密码 )
访问localhost 注册登陆后点击右上角图标进入设置在这里插入图片描述在这里插入图片描述

2.如何添加

本段以通义千问(阿里百炼大模型)为例
阿里云账号有吧(支付宝直接扫码登录访问控制台)
https://account.aliyun.com
在这里插入图片描述
直接搜索–百炼大模型服务平台请添加图片描述
模型广场中 根据需求选择对应模型
创建自己的api-key并复制

请添加图片描述

3.添加api-key

然后讲复制的api-key添加到列项1中的 通义千问(初始化没有的话 下边有安装的插件无脑点击就完了)中

在这里插入图片描述
(又得啰嗦两句:是不是低估了各位看客姥爷 是不是太过于啰嗦 没办法兄弟们私信说是讲的多泛泛了 不知道怎么实现 觉得啰嗦直接略过 咯咯咯)

针对各大平台的免费tokens量
通义千问100w一个模型
硅基流动200w一个模型
。。。。
你是用deepseek 官方提供的界面还不如自己配置调用(官方目测限流过 小孩子问的太多容易崩溃哦 )
针对各大供应商的免费量。如果是你自己玩玩 能玩一年半载都用不完 当然如果你是模型微调 注意用量 实打实的的软妹币会花出去 哈哈哈

二、如何配置智能体

1.创建一个聊天

请添加图片描述
工作室下边创建对应应用
请添加图片描述
选择对应的模型
在这里插入图片描述
发布后就可以使用咯
请添加图片描述
在这里插入图片描述

好咯
接下来你就可以问你那些觉得高端的问题了。
目前我验证了不少的语言模型及向量模型
目前我觉得大语言模型qwen max latest 较为合理(个人使用感受)deepseek倒不是不优秀 而是话太多(我问问题我只想知道结果)

2.创建知识库(内部)

创建本地知识库

请添加图片描述
添加对应文件

请添加图片描述
选择对应知识库切分
(这块得啰嗦两句:首先向量模型相当于 一个专用模型 针对用文档拆分及分片 简单理解就是切分后让自然语言模型学习的过程更加合理)
目前我验证的较多的向量模型 较为合理且切分度较高的是它(如果还有比较好的 评论 私信我试试 感谢看官老爷 哈哈哈)
在这里插入图片描述

在这里插入图片描述
同样在选择后 记住一定要看看拆分的分片是否合理 文档中所有的段落是否完整
没有那个模型是能完完整整 条理清楚的适配所有文件的 所以人为干预尤为重要。
另外在补充一个 实践才能越靠近真相 微调也是只能越接近


总结

提示:这里对文章进行总结:

1.智能体

阿里
**针对于标准答案的问答模型如果想让模型完全理解并回答的答案无限接近于正确答案:阿里解决方案负责人给出的是2000+的问题对 进行投喂(针对于qwen的相关模型) **

华为
**针对于知识库相关的能力及模型微调目前也是需要人工干预,另外华为云上也有一键部署的dify应用。 **

在这里插入图片描述

2.知识库

如果你想让你的知识库被大模型识别的更加准确,我给出的简单方案,
1、使用问题对方式
2、m3向量模型(上文中有全称呼)
3、文档中的流程图需要添加箭头并附加解释
4、文档中的表哥拆分单元格不合并,让冗余
5、pdf文档中需要鉴别文档中文字尽量不为图片
6、markdown文档效果更好

### 解决 Dify 本地部署错误 当遇到 Dify 本地部署中的错误时,主要题是 Ollama 服务在 Docker 容器内不可访。这通常是由于 `localhost` 只指向容器本身而非宿主机或其它容器所引起[^2]。 为了使 Ollama 服务能够被正确访,建议采取以下措施: #### 修改配置文件 编辑应用程序的配置文件,将原本指向 `localhost` 的地址更改为宿主机的实际 IP 地址 或 使用 `host.docker.internal` 来代替 `localhost`。对于 Windows 和 macOS 用户来说,Docker Desktop 默认会解析 `host.docker.internal` 到宿主机;而对于 Linux 用户,则可能需要手动设置此 DNS 名称映射到宿主机 IP。 ```bash # 替换原有的 localhost 配置项 sed -i 's/localhost/host\.docker\.internal/g' /path/to/config/file ``` #### 调整防火墙规则 确认宿主机上的防火墙允许来自 Docker 容器网络接口的数据包通过。如果使用的是 iptables, 添加如下命令来开放特定端口: ```bash sudo iptables -A INPUT -p tcp --dport <ollama-service-port> -j ACCEPT ``` #### 设置环境变量 确保所有依赖的服务都已正确定义并导出了必要的环境变量,在启动脚本中加入这些定义可以帮助避免因路径或参数不匹配而导致的题。 ```bash export OLlama_HOST=host.docker.internal export OTHER_SERVICE_PORT=<your_port> ``` 完成上述更改之后重启相关服务以应用新的设置,并验证连接是否恢复正常工作状态。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

许浩~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值