大模型本地部署 | 详细教程，私有化部署体验 Dify！

最新推荐文章于 2025-03-07 08:52:45 发布
最新推荐文章于 2025-03-07 08:52:45 发布
阅读量6.5k 收藏 26
点赞数 11
文章标签： 人工智能 AI大模型 大语言模型 语言模型 大模型 Dify 大模型本地部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85328934/article/details/144688466
版权

一、简介

Dify 是一个开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 管道、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。

二、功能比较

三、使用 Dify

1、Dify 云服务版：任何人都可以零设置尝试。它提供了自部署版本的所有功能，并在沙盒计划中包含 200 次免费的 GPT-4 调用。

2、Dify Premium：是一款 AWS AMI 产品，允许自定义品牌，并可作为 EC2 一键部署到你的 AWS VPC 上。前往 AWS Marketplace 进行订阅并使用，它适合以下场景：

  • 在中小型企业内，需在服务器上创建一个或多应用程序，并且关心数据私有化。
  • 你对 Dify Cloud 订阅计划感兴趣，但所需的用例资源超出了计划内所提供的资源。
  • 你希望在组织内采用 Dify Enterprise 之前进行 POC 验证。

3、Dify 社区版：即开源版本，你可以通过以下两种方式之一部署 Dify 社区版。

  • Docker Compose 部署
  • 本地源码启动

四、基本信息

1、在线体验：https://dify.ai/
2、开源地址：https://github.com/langgenius/dify
3、官方文档：https://docs.dify.ai/v/zh-hans

五、核心功能列表

1、工作流：在画布上构建和测试功能强大的 AI 工作流程。

2、全面的模型支持：与数百种专有/开源 LLMs 以及数十种推理提供商和自托管解决方案无缝集成，涵盖 GPT、Mistral、Llama3 以及任何与 OpenAI API 兼容的模型。 完整的支持模型提供商列表可在此处找到。

3、Prompt IDE: 用于制作提示、比较模型性能以及向基于聊天的应用程序添加其他功能（如文本转语音）的直观界面。

4、RAG Pipeline: 广泛的 RAG 功能，涵盖从文档摄入到检索的所有内容，支持从 PDF、PPT 和其他常见文档格式中提取文本的开箱即用的支持。

5、Agent 智能体: 可以基于 LLM 函数调用或 ReAct 定义 Agent，并为 Agent 添加预构建或自定义工具。

  • Dify 为 AI Agent 提供了50多种内置工具，如谷歌搜索、DALL·E、Stable Diffusion 和 WolframAlpha 等。

6、LLMOps: 随时间监视和分析应用程序日志和性能。您可以根据生产数据和标注持续改进提示、数据集和模型。

7、后端即服务: 所有 Dify 的功能都带有相应的 API，因此您可以轻松地将 Dify 集成到自己的业务逻辑中。

六、Dify 私有化部署

1、系统要求

在安装 Dify 之前，请确保您的机器满足以下最低系统要求：

  • CPU >= 2 Core
  • RAM >= 4GB
2、快速启动

首先，克隆 Dify 源代码至本地，然后进入 docker 目录，复制一份环境变量，采用默认端口，一键启动：

git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d

如果报错：

“

Error response from daemon: Get “https://registry-1.docker.io/v2/”: EOF

请修改daemon.json文件，设置国内镜像。

"registry-mirrors": [
    "https://registry.docker-cn.com",
    "https://docker.mirrors.ustc.edu.cn",
    "http://hub-mirror.c.163.com",
    "https://cr.console.aliyun.com/"
  ]
  • Linux：vim /etc/docker/daemon.json
  • Mac：vim /Users/oscar/.docker/daemon.json

启动成功后，你会发现共有 9 个容器：

  • 3 个业务服务：api、worker、web
  • 6 个基础组件：weaviate、db、redis、nginx、ssrf_proxy、sandbox

内存占用共计 1790 M，所以至少确保有一台 2G 内存的机器。

在这里插入图片描述

因为项目中启动了一个容器 nginx 将 web 服务转发到 80 端口，所以在浏览器中，直接输入公网 IP 即可，设置一下管理员的账号密码，进入应用主界面。

在这里插入图片描述

在这里插入图片描述

七、接入大模型

在设置里找到模型供应商，这里已经支持了上百款模型，我这里主要先接入了三款有免费额度的模型。
在这里插入图片描述

按照提示接入大模型

八、Dify 接入 Ollama 部署的本地模型

Ollama 是一个本地推理框架客户端，可一键部署如 Llama 2, Mistral, Llava 等大型语言模型。 Dify 支持接入 Ollama 部署的大型语言模型推理和 embedding 能力。

载并启动 Ollama

1、下载 Ollama：访问 https://ollama.ai/download，下载对应系统 Ollama 客户端。

2、运行 Ollama 并与 Llava 聊天

ollama run llava

启动成功后，ollama 在本地 11434 端口启动了一个 API 服务，可通过 http://localhost:11434 访问。

3、在 Dify 中接入 Ollama 在 设置 > 模型供应商 > Ollama 中填入：

在这里插入图片描述

  • 模型名称：llava

  • 基础 URL：http://127.0.0.1:11434，此处需填写可访问到的 Ollama 服务地址。

（1）、若 Dify 为 docker 部署，建议填写局域网 IP 地址，如：http://192.168.1.100:11434 或 docker 宿主机 IP 地址，如：http://172.17.0.1:11434。

（2）、若为本地源码部署，可填写 http://localhost:11434。

  • 模型类型：对话

  • 模型上下文长度：4096

  • 模型的最大上下文长度，若不清楚可填写默认值 4096。

  • 最大 token 上限：4096：模型返回内容的最大 token 数量，若模型无特别说明，则可与模型上下文长度保持一致。

  • 是否支持 Vision：是（当模型支持图片理解（多模态）勾选此项，如 llava。）

点击 “保存” 校验无误后即可在应用中使用该模型。

Embedding 模型接入方式与 LLM 类似，只需将模型类型改为 Text Embedding 即可。

九、创建工作流

回到主页，点击创建空白应用，这里的聊天助手和文本生成应用，是功能最为单一的 LLM 应用，都不支持工具和知识库的接入。
在这里插入图片描述

Agent 和 工作流的区别：

  • Agent：智能体，基于大语言模型的推理能力，可以自主选择工具来完成任务，相对简单。
  • 工作流：以工作流的形式编排 LLM 应用，提供更多的定制化能力，适合有经验的用户。
    在这里插入图片描述
    通常，我们需要 Agent 和 工作流配合使用，Agent 负责对话理解，Workflow 处理具体的定制功能。

十、最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

如何学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

学习路线

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

Dify基础：Dify平台的本地化部署（含windows部署中，常见问题及解决方案）
xiezhipu的博客
11-11 1万+
第一种比较简单，只需要在浏览器中，打入https://dify.ai/就可以。这个指令虽然看起来简单，但实际上涉及到对docker的使用。这个项目既然有github地址，那它一般就是开源的。我们点开这个github地址，便能看到dify的私有化部署方式。我们可以看到，还是上面那个图，有个按钮，是指向该项目的Github地址的。第二步：按照dify的github给出的指令，对dify进行安装。第一步：我们把dify下载到自己的电脑（或者服务器）上。这里，我们只考虑第二种方式，也就是私有化部署。
如何在本地正确部署Dify服务
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
08-06 7986
本文是该专栏的第49篇，后面会持续分享python的各种干货知识。Dify是一个开源的LLM（大型语言模型）应用开发平台，旨在为开发者提供从Agent构建到AI workflow编排、RAG检索、模型管理等全方位的能力，从而轻松构建和运营生成式AI原生应用。在本文中，笔者将针对Dify的核心知识点以及“本地如何部署Dify”，进行详细说明。具体细节部分，笔者在正文将结合实际完整图文案例进行详细说明，一文让你轻松学会在本地部署Dify。废话不多说，下面跟着笔者直接往下看正文详细内容。（附完整操作以及本地部署D
大模型本地部署-dify私有化部署-教程
02-21
运行需要的文件，除镜像意外的所有文件
AI大模型技术基础学习路线，想要学好大模型应该具备哪些能力？零基础入门到精通！
Androiddddd的博客
10-04 1185
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
LangChain、Dify 和 Ollama三者的关系
最新发布
g470641382的博客
03-07 2564
LangChain选择场景：需要代码级控制、复杂逻辑编排、多模型/工具集成。典型用例：定制化 Agent、多步骤任务链、结合外部 API 的智能应用。Dify选择场景：快速搭建生产级应用、非技术人员参与开发、注重可视化操作。典型用例：企业级 AI 客服、低代码 RAG 系统、安全可控的模型部署。Ollama选择场景：本地运行开源 LLM、模型轻量化部署、数据隐私敏感场景。典型用例：离线环境下的模型推理、结合 LangChain 开发本地化 AI 应用。
大模型学习方法之——大模型技术学习路线
m0_70839135的博客
08-15 2724
经验总结：定期回顾学习过程，总结技术要点和实战经验跨学科融合：探索大模型在其它领域(如金融，法律，医疗等)等应用，扩展知识广度‍如果用一句话总结就是，学习——实践——再学习——再实践。‍‍‍‍‍‍
华为昇腾MindIE+Dify本地私有化部署大模型 经验分享
Yingjie_Zhang666的博客
02-14 3745
本文旨在分享使用华为昇腾MindIE（Mind Inference Engine，昇腾推理引擎）结合Dify（大模型应用开发平台）成功部署通义千问和deepseek等大语言模型，并上线问答助手等应用的经验，同时也是对自己前段时间的工作进行一个总结。我会分享我在项目过程中踩过的坑，遇到的bug，以及实测解决的方法。目前计划分为6篇文章，系列文章持续更新中。本篇文章是系列文章的目录，也是我在项目过程中自行搜罗到的实用资源分享，包括了镜像下载链接、模型下载链接，以及华为昇腾官方的模型部署教程。
通透！第一次看到有人这样图解Transformer 解码器 ！
2401_85378759的博客
09-24 683
前两天看到一位国外博主发的看完非常有启发，所以分享给大家一起学习。这种形式可以让大家可以更直观的理解相关概念！（前提是大家需要对Transformer基础概念有一定的理解）解码器是负责将编码后的输入和之前生成的标记转换为上下文感知输出的“大脑”。想象一下，它就像是一位艺术家，根据草图绘制出最终的画面。解码器首先会将需要处理的序列进行嵌入，将原始数据转换成它能够理解的格式。由于Transformer不像旧模型那样依赖序列顺序，因此它使用位置编码。
Ollama：本地大模型运行指南
python123456_的博客
05-15 3391
Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架。
自学AI大模型，一般人我劝你还是算了吧！！！
Gaga246的博客
10-26 524
本文背景近年来，随着深度学习技术的迅猛发展，大模型已经成为学术界和工业界的热门话题。大模型具有数亿到数十亿的参数，这使得它们在处理复杂任务时表现得更为出色，但同时也对计算资源和数据量提出了更高的要求。学习大模型的路线图通常需要一系列的基础知识、进阶技能以及实际应用经验。深度学习基础： 学习大模型之前，对深度学习的基本概念、神经网络的原理、激活函数、损失函数等基础知识有一定的了解是必要的。编程技能： 大多数深度学习框架使用Python作为主要编程语言，因此熟悉Python编程语言是学习大模型的基础。
大模型学习路线（2025最新）神仙级大模型教程分享，不用感谢，请叫我活雷锋！_大模型 学习路线
HUANGXIN9898的博客
11-22 1835
大模型学习路线图第一阶段：基础知识准备在这个阶段，您需要打下坚实的数学基础和编程基础，这是学习任何机器学习和深度学习技术所必需的。1. 数学基础学习资料2. 编程基础学习资料第二阶段：机器学习基础这一阶段主要涉及经典机器学习算法的学习，以及如何使用它们解决实际问题。1. 机器学习理论学习资料第三阶段：深度学习入门在这个阶段，您将学习深度学习的基本概念和框架。1. 深度学习基础学习资料2. 深度学习框架学习资料第四阶段：自然语言处理基础本阶段将介绍自然语言处理的基本概念和技术。
大模型学习路线入门到精通，非常详细收藏我这一篇就够了！
jennycisp的博客
12-23 2167
理论其实就是一套描述和解决问题的方法论，只不过不同的技术有不同的方法，也就是理论。‍‍‍‍‍‍‍‍‍‍理论的发展有两种方式，一种是基于实践检验结果总结出来的经验；二种是以严谨的科学理论推导出逻辑自洽的解决某个问题的方法。‍‍‍‍‍‍‍比如说，火是人类生存和进化的重要条件之一，而在远古时期人类对于火的认知还比较浅显，因此那时关于火的理论也比较基础，比如它可以取暖，可以烤熟食物等；这就是基于经验的理论基础。‍‍‍‍。
【大模型】使用 Xinference 部署本地模型，从GPU服务器到本地知识库搭建Dify【LLM大语言模型（glm-4-9b-chat）、Rerank 模型、Embedding（向量）模型】
热门推荐
起而行动，方能平定心中的惶恐
09-04 1万+
本文会用到博主写的一些线上脚本，如果搭建者时纯内网的话，可能需要手动压缩镜像，然后解压镜像，才能正常部署本文从GPU服务器获取、到 nvidia-docker的安装、再到Xinference 部署私有化三个模型，最后搭建dify（供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用）、最后再配置实例dify，配置dify实例，整合三个模型，最后实现知识库搭建。
让AI转化为生产力，Dify 私有化部署 + 接入Ollama部署本地模型。
渔夫.AI
08-21 1149
（1）Dify官方释义 工作流是通过将复杂的任务分解成较小的步骤（节点）降低系统复杂度，减少了对提示词技术和模型推理能力的依赖，提高了 LLM 应用面向复杂任务的性能，提升了系统的可解释性、稳定性和容错性。我是渔夫，是一名程序员，现已 All in AI，努力探索小而美的AI商业模式、包括AI副业、个人IP、分享技术、非科班转码经验等相关文章，欢迎关注，和渔夫一起成长。优点：把目标场景的任务分解成多个节点，每个节点完成一个任务，然后通过数据流连接起来，其确保逻辑清晰易懂，提升了结果的准确性。
大模型学习路线与建议
Maynor的博客
10-16 2474
LLaMA 系列模型核心原理详解（LLaMA/Alpaca/Vicuna/BaiChuan/LLaMA2/BaiChuan2）大模型Tuning技术详解（Prompt-Tuning/Instruction-Tuning/P-Tuning）GPT 系列模型核心原理详解（GPT1/GPT2/GPT3/GPT4/InstructGPT）大模型RLHF技术详解（PPO/DeepSpeed-Chat）BLOOM 系列模型核心原理详解（BLOOM/BLOOMZ）通用大模型微调代码开发（支持多模型/多框架）
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1541
AI菜鸟向前飞 — LLM简介
大模型时代下，nlp初学者需要怎么入门？
2401_84204207的博客
05-25 759
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。大模型时代，考虑到成本和安全，在实际应用中，选择私有化部署一套自己的百亿量级的大模型的情况还是非常多的。
2025最新！斯坦福李飞飞开年巨作！AI Agent综述！80页！多模态智能体！
xinzhaobuxuan的博客
11-28 3663
多模态AI系统很可能会在我们的日常生活中无处不在。将这些系统具身化为物理和虚拟环境中的代理是一种有前途的方式，以使其更加互动化。目前，这些系统利用现有的基础模型作为构建具身代理的基本构件。将代理嵌入这样的环境中，有助于模型处理和解释视觉和上下文数据的能力，这是创建更复杂且具备上下文感知的AI系统的关键。例如，一个能够感知用户动作、人类行为、环境对象、音频表达以及场景整体情绪的系统，可以用于指导代理在特定环境中的响应行为。图1：Agent AI系统的概述，该系统可以在不同领域和应用中进行感知和行动。Agent
通俗易懂！从零开始理解词向量的奥秘 - 大模型学习路线系列
ytt0523_com的博客
04-01 1097
本文介绍了自然语言处理中的向量表示，着重介绍了共现矩阵的概念和应用。**词序信息丢失：**共现矩阵仅考虑词语共现的频率，忽略了词语在句子或文本中的顺序信息，这在很多情况下是非常重要的，尤其是在理解上下文中的语义关系时。“小华”、“喜欢”、“吃”、“苹果”、“和”、“橙子”、“他”、“经常”、“在”、“学校”、“买”、“水果”。"苹果"的向量 [0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0, 0]“橙子"的向量 [0, 0, 0, 1, 1, 0, 1, 0, 0, 0, 0, 0]
ollama部署私有大模型加知识库
02-13
### Ollama 私有大模型部署及知识库集成方法 #### 一、环境准备 为了成功部署私有的大型语言模型（LLM），首先需要准备好相应的运行环境。这通常涉及到安装特定版本的操作系统以及配置必要的依赖项，如 Python 版本和其他软件包。对于采用 Ollama 架构的情况而言，确保服务器硬件资源充足也非常重要，因为训练和推理过程可能非常消耗计算能力。 #### 二、Ollama 安装与初始化设置 按照官方文档指导完成 Ollama 的安装流程之后，需执行 `ollama list` 命令来确认已正确加载所需的基础模型列表[^3]。此操作有助于防止由于命名不一致而导致的潜在错误，比如不必要的重复下载或连接失败等问题的发生。 #### 三、DeepSeek 集成 接着，在完成了上述准备工作后，可以通过引入 DeepSeek 来增强系统的功能特性。利用其强大的 API 接口支持，能够轻松实现与其他应用程序之间的数据交互和服务调用；同时借助于 Dify 知识库共享机制，则可以让整个解决方案变得更加灵活多变，满足不同场景下的应用需求[^2]。 #### 四、MaxKB 知识库搭建 最后一步是要建立一个高效的本地知识存储体系——即 MaxKB 数据库。该数据库不仅用于保存来自外部源的数据集，还可以作为内部生成内容的重要载体。当用户向系统发起查询请求时，它会自动检索最匹配的结果返回给前端展示层处理[^1]。 ```bash # 示例命令：启动服务并指定使用的模型路径 $ ollama serve --model-path /path/to/models/ ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值