Windows平台上构建本地RAG服务：Dify + Ollama + Qwen2.5的强大组合实践！

最新推荐文章于 2025-03-23 19:21:50 发布

AI大模型-大飞

最新推荐文章于 2025-03-23 19:21:50 发布

阅读量2.9k

点赞数 36

文章标签： windows AI大模型人工智能大模型教程产品经理学习 Ollama

本文链接：https://blog.csdn.net/m0_63171455/article/details/145270038

版权

前几天聊了个客户需求，客户基于 Dify 构建 RAG 服务，但是团队技术能力有限，RAG 的召回准确率不高，想找人帮忙调优。

刚好我们团队接手了这个案例，经过初步的模型调优、参数优化、Prompt 优化等操作，把准确率提升到90%以上。

在做 POC 的过程中，知识库文件太大，遇到了 Dify 向量空间已满的问题。

花费 59 美刀开通专业版做 POC，不是很有必要，索性本地部署 Dify，进行测试。

主要工具

Dify 是一款开源的大语言模型(LLM) 应用开发平台，拥有可视化的操作界面，结合了 AI 工作流、RAG 管道、代理功能、模型管理、可观察性功能等，可以快速从原型开发到生产。

Ollama 是一个开源的大模型管理工具，它提供了丰富的功能，包括模型的训练、部署、监控等。通过Ollama，你可以轻松地管理本地的大模型，提高模型的训练速度和部署效率。

Qwen2.5 是阿里通义千问团队最新开源的最强AI大模型，具有多种参数规模的模型，包括0.5B、1.5B、3B、7B、14B、32B 和72B。模型在预训练时使用了最新的大规模数据集，包含多达18 万亿个tokens，Qwen2.5 在自然语言理解、文本生成、编程能力、数学能力等方面都有显著提升。

Docker 是一种轻量级的虚拟化技术，同时是一个开源的应用容器运行环境搭建平台，可以让开发者以便捷方式打包应用到一个可移植的容器中，然后安装至任何运行Linux或Windows等系统的服务器上。

部署Dify

系统要求

在安装 Dify 之前，请确保您的机器满足以下最低系统要求：

CPU >= 2 Core
RAM >= 4GB

快速部署

通过 Docker compose 部署 Dify

克隆 Dify 源代码至本地
进入 docker 目录
复制一份环境变量
采用默认端口，一键启动

git clone https://github.com/langgenius/dify.git`  `cd dify/docker`  `cp .env.example .env`  `docker compose up -d

部署成功后如下图所示

Docker Desktop页面

说明

Windows 系统需要先安装 wsl，用于支持 Docker Desktop 的安装

部署Ollama

下载 Ollama

访问 https://ollama.ai/download，下载对应系统 Ollama 客户端，我是 Windows 系统，下载 Windows 版本，然后安装运行

部署Qwen2.5

下载 qwen2.5:7b 模型，ollama run qwen2.5:7b

部署Embedding模型

Embedding 是一种将词语或句子转换成数字向量的技术。它实际上是将高维、离散的输入数据（例如文本、图像、声音等）转换成低维、连续的向量表示的过程。

英文数据集选用 nomic-embed-text ，ollama pull nomic-embed-text

中文数据集选用 bge-m3，ollama pull bge-m3

使用Dify

设置账户

打开浏览器，输入 http://localhost/install ，设置管理员账号

配置模型

点击右上角头像，点击“设置”按钮

切换到模型供应商，进行模型配置，我这里已经配置好了，初次配置需要在页面下拉列表中找到“Ollama”

配置 Qwen2.5:7b 模型

配置 nomic-embed-text 模型

配置 bge-m3 模型

至此，整个配置流程结束，下一篇文章将介绍如何使用Dify搭建企业知识库聊天机器人

总结

本文详细介绍了如何将Dify本地私有化部署，并且接入Ollama部署本地大模型，构建本地RAG服务。希望能对大家有所帮助！

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述