大模型本地部署 | 详细教程，私有化部署体验 Dify！

于 2025-04-18 21:46:47 发布
阅读量1.4k 收藏 16
点赞数 30
文章标签： langchain 学习 数据分析 java 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a2875254060/article/details/147340983
版权
一、简介

Dify 是一个开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

二、功能比较

三、使用 Dify

1、Dify 云服务版：任何人都可以零设置尝试。它提供了自部署版本的所有功能，并在沙盒计划中包含 200 次免费的 GPT-4 调用。

2、Dify Premium：是一款 AWS AMI 产品，允许自定义品牌，并可作为 EC2 一键部署到你的 AWS VPC 上。前往 AWS Marketplace 进行订阅并使用，它适合以下场景：

  • 在中小型企业内，需在服务器上创建一个或多应用程序，并且关心数据私有化。
  • 你对 Dify Cloud 订阅计划感兴趣，但所需的用例资源超出了计划内所提供的资源。
  • 你希望在组织内采用 Dify Enterprise 之前进行 POC 验证。

3、Dify 社区版：即开源版本，你可以通过以下两种方式之一部署 Dify 社区版。

  • Docker Compose 部署
  • 本地源码启动
四、基本信息

1、在线体验：https://dify.ai/
2、开源地址：https://github.com/langgenius/dify
3、官方文档：https://docs.dify.ai/v/zh-hans

五、核心功能列表

1、工作流：在画布上构建和测试功能强大的 AI 工作流程。

2、全面的模型支持：与数百种专有/开源 LLMs 以及数十种推理提供商和自托管解决方案无缝集成，涵盖 GPT、Mistral、Llama3 以及任何与 OpenAI API 兼容的模型。 完整的支持模型提供商列表可在此处找到。

3、Prompt IDE: 用于制作提示、比较模型性能以及向基于聊天的应用程序添加其他功能（如文本转语音）的直观界面。

4、RAG Pipeline: 广泛的 RAG 功能，涵盖从文档摄入到检索的所有内容，支持从 PDF、PPT 和其他常见文档格式中提取文本的开箱即用的支持。

5、Agent 智能体: 可以基于 LLM 函数调用或 ReAct 定义 Agent，并为 Agent 添加预构建或自定义工具。

  • Dify 为 AI Agent 提供了50多种内置工具，如谷歌搜索、DALL·E、Stable Diffusion 和 WolframAlpha 等。

6、LLMOps: 随时间监视和分析应用程序日志和性能。您可以根据生产数据和标注持续改进提示、数据集和模型。

7、后端即服务: 所有 Dify 的功能都带有相应的 API，因此您可以轻松地将 Dify 集成到自己的业务逻辑中。

六、Dify 私有化部署
1、系统要求

在安装 Dify 之前，请确保您的机器满足以下最低系统要求：

  • CPU >= 2 Core
  • RAM >= 4GB
2、快速启动

首先，克隆 Dify 源代码至本地，然后进入 docker 目录，复制一份环境变量，采用默认端口，一键启动：

git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d

如果报错：

“

Error response from daemon: Get “https://registry-1.docker.io/v2/”: EOF

请修改daemon.json文件，设置国内镜像。

"registry-mirrors": [
    "https://registry.docker-cn.com",
    "https://docker.mirrors.ustc.edu.cn",
    "http://hub-mirror.c.163.com",
    "https://cr.console.aliyun.com/"
  ]
  • Linux：vim /etc/docker/daemon.json
  • Mac：vim /Users/oscar/.docker/daemon.json

启动成功后，你会发现共有 9 个容器：

  • 3 个业务服务：api、worker、web
  • 6 个基础组件：weaviate、db、redis、nginx、ssrf_proxy、sandbox

内存占用共计 1790 M，所以至少确保有一台 2G 内存的机器。

在这里插入图片描述

因为项目中启动了一个容器 nginx 将 web 服务转发到 80 端口，所以在浏览器中，直接输入公网 IP 即可，设置一下管理员的账号密码，进入应用主界面。

在这里插入图片描述

在这里插入图片描述

七、接入大模型

在设置里找到模型供应商，这里已经支持了上百款模型，我这里主要先接入了三款有免费额度的模型。
在这里插入图片描述

按照提示接入大模型

八、Dify 接入 Ollama 部署的本地模型

Ollama 是一个本地推理框架客户端，可一键部署如 Llama 2, Mistral, Llava 等大型语言模型。 Dify 支持接入 Ollama 部署的大型语言模型推理和 embedding 能力。

载并启动 Ollama

1、下载 Ollama：访问 https://ollama.ai/download，下载对应系统 Ollama 客户端。

2、运行 Ollama 并与 Llava 聊天

ollama run llava

启动成功后，ollama 在本地 11434 端口启动了一个 API 服务，可通过 http://localhost:11434 访问。

3、在 Dify 中接入 Ollama 在 设置 > 模型供应商 > Ollama 中填入：

在这里插入图片描述

  • 模型名称：llava

  • 基础 URL：http://127.0.0.1:11434，此处需填写可访问到的 Ollama 服务地址。

（1）、若 Dify 为 docker 部署，建议填写局域网 IP 地址，如：http://192.168.1.100:11434 或 docker 宿主机 IP 地址，如：http://172.17.0.1:11434。

（2）、若为本地源码部署，可填写 http://localhost:11434。

  • 模型类型：对话

  • 模型上下文长度：4096

  • 模型的最大上下文长度，若不清楚可填写默认值 4096。

  • 最大 token 上限：4096：模型返回内容的最大 token 数量，若模型无特别说明，则可与模型上下文长度保持一致。

  • 是否支持 Vision：是（当模型支持图片理解（多模态）勾选此项，如 llava。）

点击 “保存” 校验无误后即可在应用中使用该模型。

Embedding 模型接入方式与 LLM 类似，只需将模型类型改为 Text Embedding 即可。

九、创建工作流

回到主页，点击创建空白应用，这里的聊天助手和文本生成应用，是功能最为单一的 LLM 应用，都不支持工具和知识库的接入。
在这里插入图片描述

Agent 和 工作流的区别：

  • Agent：智能体，基于大语言模型的推理能力，可以自主选择工具来完成任务，相对简单。
  • 工作流：以工作流的形式编排 LLM 应用，提供更多的定制化能力，适合有经验的用户。
    在这里插入图片描述
    通常，我们需要 Agent 和 工作流配合使用，Agent 负责对话理解，Workflow 处理具体的定制功能。

十、最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
在这里插入图片描述
在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

如何在本地正确部署Dify服务
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
08-06 8018
本文是该专栏的第49篇，后面会持续分享python的各种干货知识。Dify是一个开源的LLM（大型语言模型）应用开发平台，旨在为开发者提供从Agent构建到AI workflow编排、RAG检索、模型管理等全方位的能力，从而轻松构建和运营生成式AI原生应用。在本文中，笔者将针对Dify的核心知识点以及“本地如何部署Dify”，进行详细说明。具体细节部分，笔者在正文将结合实际完整图文案例进行详细说明，一文让你轻松学会在本地部署Dify。废话不多说，下面跟着笔者直接往下看正文详细内容。（附完整操作以及本地部署D
win本地部署Dify，并接入deepseek-r1
最新发布
简单记录
03-19 2045
参考需要安装的软件有本机环境：win10企业版21H2，i5-12400，16GB，集显无独立显卡。
window本地部署Dify
Baker的博客
05-27 6135
这节一起来实现Dify的离线部署，官方的github仓库也提供了docker的部署方式，我们也使用docker的方式部署，因此需要在window上安装docker环境，安装好后，我们先从github将源码下载下来，然后解压到一个文件夹下，这里是我下载后解压的项目目录。所以有端口冲突可以在此修改，当所有组件pull不并started后就可以了，打开浏览器，输入IP+port,如果刚才映射的端口被修改，要记得这里的port是修改映射后的新端口，修改后，打开命令提示符，进入项目的docker目录下，输入命令。
AI工作流平台Dify本地部署
2401_82469710的博客
03-19 3858
Dify是一个支持通过AI工作流的形式，开发AI应用的开源平台，他相比 LangChain 更加的易用，甚至零代码即可创建你的AI应用。
Dify知识库 本地部署DeepSeek 开启智能体和工作流
技术宅男改变世界
03-12 6327
Dify是一个开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。比 LangChain 更易用。官网 https://dify.ai/zh。
智能体学习：本地部署Dify
qq_39502517的博客
02-02 1万+
智能体学习之路，本地部署Dify
如何利用 Dify体验私有化部署
程序员鑫港的博客
03-12 969
Dify是一个开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。
保姆教程篇：手把手教你从零开始本地部署Dify工作流
热门推荐
He_r_o的博客
08-11 8万+
本教程将手把手指导您在个人电脑上安装和配置 Dify。
Dify 本地部署指南
weixin_49564779的博客
11-07 5992
本指南介绍了 Dify 的本地部署流程，包括克隆代码、配置环境变量、启动中间件服务（PostgresSQL、Redis、Weaviate）和选择后端与前端的启动方式（源码或 Docker）。完成部署后，后端 API 服务将运行在 http://localhost:5001，前端界面可通过 http://localhost:3000 访问，为用户提供完整的应用支持。
大模型本地部署-dify私有化部署-教程
02-21
本文档标题为“大模型本地部署-dify私有化部署-教程”，该文档是一份专业指南，旨在指导用户如何在本地环境中部署一个大型机器学习模型，同时侧重于使用dify平台进行私有化部署。教程内容很可能涉及从准备工作、环境...
华为昇腾MindIE+Dify本地私有化部署大模型 经验分享
Yingjie_Zhang666的博客
02-14 3835
本文旨在分享使用华为昇腾MindIE（Mind Inference Engine，昇腾推理引擎）结合Dify（大模型应用开发平台）成功部署通义千问和deepseek等大语言模型，并上线问答助手等应用的经验，同时也是对自己前段时间的工作进行一个总结。我会分享我在项目过程中踩过的坑，遇到的bug，以及实测解决的方法。目前计划分为6篇文章，系列文章持续更新中。本篇文章是系列文章的目录，也是我在项目过程中自行搜罗到的实用资源分享，包括了镜像下载链接、模型下载链接，以及华为昇腾官方的模型部署教程。
【大模型】使用 Xinference 部署本地模型，从GPU服务器到本地知识库搭建Dify【LLM大语言模型（glm-4-9b-chat）、Rerank 模型、Embedding（向量）模型】
起而行动，方能平定心中的惶恐
09-04 1万+
本文会用到博主写的一些线上脚本，如果搭建者时纯内网的话，可能需要手动压缩镜像，然后解压镜像，才能正常部署本文从GPU服务器获取、到 nvidia-docker的安装、再到Xinference 部署私有化三个模型，最后搭建dify（供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用）、最后再配置实例dify，配置dify实例，整合三个模型，最后实现知识库搭建。
让AI转化为生产力，Dify 私有化部署 + 接入Ollama部署本地模型。
渔夫.AI
08-21 1152
（1）Dify官方释义 工作流是通过将复杂的任务分解成较小的步骤（节点）降低系统复杂度，减少了对提示词技术和模型推理能力的依赖，提高了 LLM 应用面向复杂任务的性能，提升了系统的可解释性、稳定性和容错性。我是渔夫，是一名程序员，现已 All in AI，努力探索小而美的AI商业模式、包括AI副业、个人IP、分享技术、非科班转码经验等相关文章，欢迎关注，和渔夫一起成长。优点：把目标场景的任务分解成多个节点，每个节点完成一个任务，然后通过数据流连接起来，其确保逻辑清晰易懂，提升了结果的准确性。
极简入门，本地部署dify低代码平台构建AI Agent大模型全流程（使用教程、微案例、配置详解、架构图解析）
项目git同名小胡说技书
02-22 5709
极简入门，本地部署dify低代码平台构建AI Agent大模型全流程（使用教程、微案例、配置详解、架构图解析）
本都部署Dify
haojiajin的博客
08-22 2万+
本地搭建Dify系统
Dify 大语言模型应用开发平台本地化部署
07-31 3164
本文主要介绍Dify 大语言模型开发平台的本地化部署，其中主要解决国内镜像问题
Dify源码本地部署启动
敲代码的小小酥的博客
06-15 8097
agent智能体框架Dify的源码部署以及源码下载
大白话！解析大模型原理！
2401_84205765的博客
07-08 1312
LLM的工作原理对大多数人来说是个谜。虽然，并需要大量文本进行训练，但具体细节往往令人困惑。原因在于这些系统独特的开发方式：**基于数十亿词汇训练的神经网络，不同于传统的人类编写的软件。**尽管没人完全理解其内部机制，但研究人员正努力探索。本文旨在以非技术、非数学的方式解释LLM的工作原理，包括词向量、Transformer模型及其训练方式，以及为何需要海量数据来取得良好性能。理解语言模型工作原理，首要了解它如何表示单词。人类用字母序列表示单词，如"cat"为C-A-T。
dify私有化部署 没有模型供应商
03-15
### Dify 私有化部署不依赖模型供应商的解决方案 Dify 的私有化部署允许用户在本地环境中运行 AI 应用程序，而无需完全依赖外部模型供应商。尽管通常情况下可以通过设置 `> 模型供应商 > Ollama` 来集成本地模型[^1]，但在没有模型供应商的情况下，仍然可以采取以下方法实现私有化部署。 #### 使用自托管模型的方式 如果不想通过配置模型供应商来完成部署，则可以直接利用 Docker 或 Kubernetes 将预训练好的大语言模型（LLM）加载到本地环境，并将其作为服务提供给 Dify 调用。具体来说： - **下载并安装所需的大语言模型**：可以从 Hugging Face、ModelScope 等开源平台获取适合需求的 LLM 并保存至本地磁盘。 - **启动独立的服务端口**：借助 FastAPI、Flask 或者其他轻量级框架创建 RESTful API 接口，使该接口能够接收来自 Dify 的请求并将这些请求转发至已加载的 LLM 进行推理处理[^2]。 - **修改 Dify 配置文件**：编辑 `.env` 文件中的参数以指向上述新建立的服务地址而非传统意义上的云上模型提供商路径。 以下是基于 Python 和 Flask 构建的一个简单示例代码片段用于展示如何搭建这样一个中间层服务: ```python from flask import Flask, request, jsonify import torch from transformers import AutoTokenizer, AutoModelForCausalLM app = Flask(__name__) tokenizer = AutoTokenizer.from_pretrained("path/to/local/model") model = AutoModelForCausalLM.from_pretrained("path/to/local/model") @app.route('/generate', methods=['POST']) def generate(): data = request.get_json() input_text = data['input'] inputs = tokenizer(input_text, return_tensors="pt").to('cuda') outputs = model.generate(**inputs, max_length=50) result = tokenizer.decode(outputs[0], skip_special_tokens=True) return jsonify({"output": result}) if __name__ == '__main__': app.run(host='0.0.0.0', port=8080) ``` 此脚本定义了一个 `/generate` POST 方法用来接受输入字符串并通过指定位置上的 Transformer 类型模型生成回复内容。注意这里假设 GPU 可用；如果不是的话，请调整设备选项为 CPU (`'cpu'`)。 最后一步就是告知 Dify 去调用这个新的 HTTP 服务而不是任何官方支持过的第三方插件形式下的远程资源链接了。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值