基于 Ollama 私有化部署 DeepSeek 并集成智能体平台 Dify 知识库

最新推荐文章于 2025-03-14 11:01:49 发布

Python数据开发

最新推荐文章于 2025-03-14 11:01:49 发布

阅读量3.1k

点赞数 12

分类专栏：学习笔记文章标签：算法人工智能面试题大模型智能体 Python 开发

本文链接：https://blog.csdn.net/m0_59596937/article/details/145482047

版权

学习笔记专栏收录该内容

190 篇文章

订阅专栏

节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

针对新人如何快速入门算法岗、如何准备面试攻略、面试常考点、大模型项目落地经验分享等热门话题进行了深入的讨论。

总结链接：《大模型面试宝典》(2025版) 正式发布！

喜欢本文记得收藏、关注、点赞

技术交流

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了大模型算法岗技术与面试交流群，想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2040。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：技术交流
方式②、添加微信号：mlc2040，备注：技术交流

在 AI 时代，企业越来越依赖大模型来提高生产力，而 DeepSeek 作为国产大模型的佼佼者，在私有化部署方面提供了强大的能力。同时，Dify 作为一个低代码 LLM 应用构建平台，可以让企业轻松搭建自己的 AI 助手，并实现知识库共享。那么，如何在企业内部搭建一套基于 DeepSeek 和 Dify 的知识共享系统呢？

今天，我们就来聊聊：如何在企业内部私有化部署 DeepSeek，并结合 Dify 构建企业级知识库共享方案。

为什么要私有化部署 DeepSeek？

如果你在企业里推动 AI 落地，老板可能会问你：“为什么我们不能直接用大模型在线API？”

答案很简单：

数据安全：企业的核心文档、客户资料、专利数据等都需要严格保密，公有云大模型的 API 调用存在数据泄露风险。

成本可控：大规模使用大模型API，长期来看成本会非常可观，而本地部署 DeepSeek 只需要一次性投入服务器成本。

个性化训练：私有化部署允许企业定制模型，适配特定业务场景。

所以，企业想真正利用 AI 赋能业务，私有化部署是王道！

DeepSeek 私有化部署指南（基于 Ollama）

01 DeepSeek部署硬件要求

以下为DeepSeek-r1不同参数模型部署所建议硬件要求（仅供参考）：

02 安装 Ollama 并部署 DeepSeek

在命令符界面输入如下命令下载Ollama镜像：

docker pull ollama/ollama

使用下面的命令部署运行Ollama(Portainer 或 docker compose)：

version: '3.9'
services:
 ollama:
    image: ollama/ollama
    container_name: my-ollama #容器名字可自己定义
    volumes:
      - /ollama/models:/root/.ollama  # 模型存放路径自己定义

等Ollama容器运行起来后，在系统命令行中执行如下语句安装DeepSeek-r1，本次我们作为测试，安装模型参数为1.5b。

# 进入Ollama容器
docker exec -it my-ollama /bin/bash
# 执行下载模型命令
ollama run deepseek-r1

等待模型下载完成后，即可执行exit命令退出容器。

集成 Dify 进行知识库共享

01 安装Dify

Dify 是一个开源的 AI 应用构建平台，支持私有化部署，企业可以用它轻松管理知识库。

Dify下载地址：

https://github.com/langgenius/dify

下载完成后，上传到系统指定目录，解压后并执行如下命令进行安装：

cd dify
cd docker
docker compose up -d

02 连接 DeepSeek API

设置完Dify的管理员后，我们进入Dify页面：

在 Dify 后台，左上角用户图标下拉菜单下，我们选择设置-模型提供商，选择Ollama模型提供商，并输入接口信息，点击保存，如下图：

03 构建企业知识库

在 Dify 的“知识库”模块，我们可以上传企业的文档（PDF、Word、TXT等格式文档），Dify 会自动索引这些文件，并构建知识库。

使用 RAG（检索增强生成）技术，Dify 可以在 AI 生成回答时结合企业内部知识，让 AI 变成“内部专家”！

我们上传一个测试数据，如下图：

智能手表使用说明书文档内容如下：

一、产品概述
欢迎使用本智能手表。本手表集健康监测、运动记录、智能提醒等多种功能于一体，为您的日常生活提供便捷的智能体验。
二、产品清单
智能手表 ×1
充电线 ×1
使用说明书 ×1
保修卡 ×1
三、产品功能
基本功能：时间显示、闹钟、计时器、天气预报。
健康管理：心率监测、血氧检测、睡眠监测、压力检测。
运动模式：支持多种运动模式，如跑步、骑行、游泳等。
智能提醒：消息通知、来电提醒、久坐提醒。
其他功能：蓝牙音乐控制、远程拍照、查找手机。
四、产品使用
开机与关机
长按侧边按钮3秒开机。
长按侧边按钮5秒可关机。
充电方法
使用附赠的充电线连接手表与电源。
充电时请确保接口干燥。
蓝牙连接
在手机端下载“智能手表APP”（可在应用商店搜索）。
打开APP，根据指引进行蓝牙配对。
操作方式
触摸屏滑动可切换界面。
按钮短按返回上一层，长按进入快捷菜单。
五、注意事项
本手表防水等级为IP68，可用于日常防水，但请勿长时间浸泡。
佩戴时请保持表带清洁，避免过紧导致皮肤不适。
长时间不使用时，请充满电后存放，以延长电池寿命。
请勿自行拆卸或维修本手表，如遇故障请联系售后服务。
六、售后服务
本产品享受一年保修服务，非人为损坏情况下，提供免费维修或更换服务。若有任何问题，请联系官方客服。
感谢您选择本智能手表，祝您使用愉快！

点击下一步对数据进行处理，如下图：