window 系统 使用ollama + docker + deepseek R1+ Dify 搭建本地个人助手

1. 下载ollama ,官网 下载地址:Download Ollama on macOS,选择 Window

下载完成后,可在终端 使用 ollama --version

2. 下载 本地大模型,这里下载deepseek r1 7b

3.下载Embed模型

Embed模型 是文本工具向量化的核心工具

可在这里https://huggingface.co/spaces/mteb/leaderboard ,查看各个Embed 模型的排名


ollama  pull bge-m3

4.最难的就是配置docker

https://github.com/langgenius/dify

进入 github 下载源码

在项目根目录下,复制.env.example文件并重命名为.env

并修改以下配置

规定了每次上传大小限制

修改之后,

进入docker 文件夹下,使用cmd 命令,
然后
docker-compose down
docker-compose up -d

这个时候,可能会报错,具体可参考基于windows 使用 Docker 本地化部署Dify_windows docker dify-CSDN博客

如:

Error response from daemon: Get "https://registry-1.docker.io/v2/": dialing registry-1.docker.io:443 container via direct connection because static system has no HTTPS proxy: connecting to registry-1.docker.io:443: dial tcp 162.220.12.226:443: connectex: No connection could be made because the target machine actively refused it.

可在docker 配置中修改镜像源

5. 搭建RAG 知识库

分别添加大模型和向量化模型,

然后·上传本地知识库

检索方式可选择混合检索

但好像 Dify 不支持 Rerank 模型

然后就可以在工作室中创建自己的应用了

最后可正常使用

### 部署方案概述 在 CentOS 7 上部署 DeepSeek-R1 模型并集成 Dify 知识库的过程可以分为以下几个部分:准备操作系统环境、安装 DockerDocker Compose、通过 Ollama 下载和运行 DeepSeek 模型、配置 Dify 并连接到模型服务。以下是详细的说明。 --- #### 一、操作系统的准备工作 CentOS 7 是一个较为稳定的 Linux 发行版,但在某些方面可能不如较新的发行版(如 Rocky Linux 或 Ubuntu)。需要注意的是: - **软件包支持**:CentOS 7 的默认仓库中可能存在过旧的软件版本,因此需要手动启用 EPEL (Extra Packages for Enterprise Linux) 来获取更多更新的工具和支持[^1]。 - **依赖项兼容性**:Rocky Linux 9.5 被用于初始部署案例,其内核和基础库更接近现代标准。而 CentOS 7 使用较老的基础架构,可能会遇到一些兼容性问题,特别是在处理最新容器技术时。 ```bash sudo yum install epel-release -y sudo yum update -y ``` --- #### 二、DockerDocker Compose 安装 为了确保一致性,建议使用与引用中的相同版本号来减少潜在冲突风险。对于 CentOS 7: 1. 添加官方 Docker CE 存储库: ```bash sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo ``` 2. 安装 Docker Engine: ```bash sudo yum install docker-ce docker-ce-cli containerd.io -y ``` 3. 启动并设置开机自启: ```bash sudo systemctl start docker && sudo systemctl enable docker ``` 4. 关于 `docker-compose` 版本的选择,推荐采用 v2.x 系列以匹配最新的功能需求[^2]: ```bash sudo curl -SL https://github.com/docker/compose/releases/download/v2.33.1/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose ``` 验证安装成功与否可以通过命令测试: ```bash docker --version docker-compose --version ``` --- #### 三、Ollama 中加载 DeepSeek 模型 利用 Ollama 提供的服务接口简化大型语言模型管理流程。具体步骤如下所示: 1. 创建一个新的目录作为工作区,并切换至该路径下执行后续指令; 2. 初始化项目结构文件夹树形图示意如下: ``` project/ ├── ollama_config.json └── models/ └── deepseek_r1_7b/ ``` 3. 运行以下脚本来完成镜像拉取任务: ```bash mkdir -p ./models/deepseek_r1_7b cd ./models/deepseek_r1_7b # 替代方法调用硅基流动API实现无缝衔接过程描述见参考资料[^3] ollama pull deepseek-r1:7b ``` 注意这里强调了如果直接尝试访问官网提供的 RESTful 接口存在不稳定因素,则需考虑间接途径解决此难题。 --- #### 四、Dify 环境搭建及其关联设定 最后一步就是把前面所构建好的组件串联起来形成完整的解决方案框架——即引入 Dify 应用来统一管理和调度各个子模块之间的交互逻辑关系。 初始化数据库表单定义语句片段举例展示如下形式书写方式遵循 SQL 标准语法习惯即可满足基本要求条件限制范围之内合理调整参数数值大小适应实际应用场景特点差异情况作出相应修改优化改进措施提升整体性能表现水平达到预期目标效果最佳状态呈现出来供大家参考学习借鉴经验积累共同进步成长发展下去不断探索未知领域开拓创新思路方向引领未来趋势走向更加辉煌灿烂明天迎接挑战克服困难勇往直前无惧风雨一路向前迈进! ```sql CREATE TABLE IF NOT EXISTS knowledge_base ( id INT AUTO_INCREMENT PRIMARY KEY, content TEXT NOT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); ``` 随后按照文档指引完成必要的字段映射规则制定以及索引创建等工作环节之后便能够顺利启动应用程序进入正常运转模式当中去了呢😊 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值