本地私有化部署 DeepSeek & Dify ，告别“服务器繁忙，请稍后再试”

最新推荐文章于 2025-03-28 16:38:04 发布

Python编程杰哥

最新推荐文章于 2025-03-28 16:38:04 发布

阅读量2.4k

点赞数 26

文章标签：服务器运维 gpt llama 人工智能机器学习深度学习

本文链接：https://blog.csdn.net/xx_nm98/article/details/145557583

版权

前言

DeepSeek 最近实在太火爆了，导致官网对话访问经常提示“服务器繁忙，请稍后再试”。如下图所示：

DeepSeek访问问题

关于什么是DeepSeek这里就不科普了，自己上网随便查一下就知道了。

DeepSeek

官网：https://www.deepseek.com/

目前DeepSeek最大的问题是访问流量太大，导致用户体验不好，它的深度思考模型和联网能力没有充分发挥出来，不过我相信后续加大投入，这类问题应该能得到缓解。

本文主要面向想在本地部署私有模型的开发同学，打造专属私人AI助手。

前置准备

硬件环境

MacBook Pro（推荐）
CPU >= 2 Core
内存 >=16GB （推荐）

笔者的电脑配置：

电脑配置

软件环境

Docker
Docker Compose
Ollama
Dify 社区版
ChatBox

注：这里只演示在MacBook的部署过程，Windows和Linux的同学请自行实践。

安装Ollama & 加载模型

什么是Ollama?

Ollama 是一款跨平台的大模型管理客户端（MacOS、Windows、Linux），旨在无缝部署大型语言模型 (LLM)，例如 DeepSeek、Llama、Mistral 等。Ollama 提供大模型一键部署，所有使用数据均会保存在本地机器内，提供全方面的数据隐私和安全性。

Ollama 下载页面

官网：https://ollama.com/

下载&加载本地模型

下载安装完ollama后，通过命令行可以查看对应的版本，并可以开始部署你想要的模型，这里选择的是deepseek-r1（默认是7b）。

通过ollama运行DeepSeek R1模型

deepseek-r1 模型版本

https://ollama.com/library/deepseek-r1

ollama run deepseek-r1

安装交互式UI：ChatBox

什么是ChatBox？

Chatbox AI 是一款 AI 客户端应用和智能助手，支持众多先进的 AI 模型和 API，可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

https://chatboxai.app/zh

chatbox 设置

选择模型提供方：OLLAMA API
填入API域名：http://127.0.0.1:11434
选择模型：deepseek-r1:latest

验证本地模型对话

使用deepseek-r1对话结果

至此你已经可以通过chatbox来跟deepseek对话，如果你只是想体验DeepSeek的功能，下面关于Dify 大模型服务搭建可以略过。

Dify 搭建个人知识库

什么是Dify？

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。

Docker Compose部署

git clone https://github.com/langgenius/dify.git   cd dify/docker   cp .env.example .env

参考Docker Compose部署
https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose

启动Docker容器

docker compose up -d # 如果版本是Docker Compose V1，使用命令：docker-compose up -d

假设遇到以下问题，可以在前面我们安装的Docker Desktop设置里面配置镜像：

镜像失效问题

Docker Engine 配置

增加代理镜像

{     "builder": {       "gc": {         "defaultKeepStorage": "20GB",         "enabled": true       }     },     "experimental": false,     "registry-mirrors": [       "https://registry.dockermirror.com",       "https://docker-0.unsee.tech",       "https://docker.1panel.live",       "https://docker.imgdb.de",       "https://docker.m.daocloud.io",       "https://docker.tbedu.top",       "https://image.cloudlayer.icu",       "https://docker.melikeme.cn",       "https://cr.laoyou.ip-ddns.com",       "https://dockerpull.cn",       "https://hub.fast360.xyz",       "https://docker.hlmirror.com"     ]   }

国内代理经常失效或访问超时，这里可以多尝试几次，或者配置新的代理镜像地址。

参考：目前国内可用Docker镜像源汇总（https://www.coderjia.cn/archives/dba3f94c-a021-468a-8ac6-e840f85867ea）

镜像容器启动成功如下所示：

docker容器启动成功截图

Dify 平台添加Ollama模型

1、浏览器访问http://localhost/（默认 80 端口），进入Dify。

2、首次进入初始化设置账号密码

3、点击 Dify 平台右上角头像-> 设置 -> 模型供应商，选择Ollama，点击“添加模型”

添加 Ollama

模型名称：deepseek-r1
基础URL：http://host.docker.internal:11434

Ollama 模型

Dify 创建应用

Dify 创建聊天助手

Dify支持聊天助手、Agent、文本生成等基础应用，还支持进阶应用Chatflow和工作流。这里我们先简单尝试创建聊天助手，填入基本信息，点击“创建”即可。

Dify 创建知识库

主页选择知识库 -> 创建知识库 -> 上传知识，搭建属于你自己的知识库。

Dify 创建知识库

引用知识库

AI应用引用知识库

至此，基于Dify搭建个人知识库已完成，如此一来模型可以基于知识库输出更精确的的问答。

写在最后

本文实践了如何通过Ollama 本地部署DeepSeek R1 模型，并且尝试通过Dify 平台来创建个人知识库，进而搭建专属私人的AI 助手。笔者在实践的过程中也收获良多，打开了自己尝试AI工具的思路。

DeepSeek 的爆火估计会让全球科技巨头重新审视“大力（堆芯片，高成本）出奇迹”的问题，一家名不见经传的小公司为什么能够突破创新，而且诞生在中国，难道我们已经摆脱“追随者”的身份了？我相信这只是开始，AI军备竞赛已经开始打响，作为普通人无法避开科技浪潮，如何不让自己随波逐流，或许我们需要躬身入局去体验，思考和探索。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述