利用ollama + RAGFlow部署千问大模型构建个人知识库AI智能体应用（附教程）

最新推荐文章于 2025-03-14 16:54:01 发布
最新推荐文章于 2025-03-14 16:54:01 发布
阅读量1k 收藏 25
点赞数 19
文章标签： 人工智能 程序员 langchain llama 本地化部署 LLM 知识库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82469710/article/details/146180407
版权

将开源的大语言预训练模型部署到用户设备上进行推理应用，特别是结合用户专业领域知识库构建AI应用，让AI在回答时更具有专业性，目前已经有很多成熟的应用方案。其中，支持大模型本地化部署的平台及工具很多，比较出名的有ollama、vLLM、LangChain、Ray Serve等，大大简化了模型的部署工作，并提供模型全生命周期管理。

对应地，需要知识库构建的相应工具，能处理各种格式（doc/pdf/txt/xls等）的各种文档，能够直接读取文档并处理大量信息资源，包括文档上传、自动抓取在线文档，然后进行文本的自动分割、向量化处理，来实现本地检索增强生成（RAG）等功能。这类工具主要有RAGFlow、MaxKB、AnythingLLM、FastGPT、Dify 、Open WebUI 等。本文将采用ollama + RAGFlow方式进行搭建，系统架构如下：

1 安装ollama

ollama是一个开源的大型语言模型服务工具，旨在帮助用户在本地环境中部署和运行大型语言模型，其核心功能是提供一个简单、灵活的方式，将这些复杂的AI模型从云端迁移到本地机器上，简化大型语言模型在本地环境中的运行和管理。它不仅为开发者提供了一个强大的平台来部署和定制AI模型，而且也让终端用户能够更加私密和安全地与这些智能系统进行交互。

(1)执行如下命令安装

curl -fsSL https://ollama.com/install.sh | sh

在安装过程中，ollama会识别相应的GPU加速卡，若未识别相应设备，则使用CPU模式

GPU模式“NVIDIA GPU installed”

CPU模式“No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode”

(2)安装后查看ollama状态

sudo systemctl status ollama

(3)设置ollama环境变量

sudo vi /etc/systemd/system/ollama.service

增加Environment=”OLLAMA_HOST=0.0.0.0:11434”，否则后面在RAGFlow容器环境下配置连接时，无法连接ollama.

#  修改并重启服务``sudo systemctl daemon-reload``sudo systemctl restart ollama.service``sudo systemctl status ollama.service

2 部署千问大模型

(1) 模型下载

与docker类似，可以通过ollama pull 命令进行预训练模型下载，目前ollama已支持许多大模型，可以通过访问https://ollama.com/library获取相关信息。

这里使用ollama run qwen2.5:7b，当本地没有qwen2.5:7b预训练模型时，ollama将先下载模型到本地，然后运行该模型。

测试运行正常，可进行问答测试。基于ollama的千问7b大模型部署完毕。

3 安装RAGFlow

RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。RAGFlow部署采用的是docker容器化部署，因组件较多使用了多个容器，需要通过docker compose进行多容器部署方式。

(1)执行如下命令克隆RAGFlow仓库

#参考官方手册https://ragflow.io/docs/dev/进行操作即可：` `git clone https://github.com/infiniflow/ragflow.git` `cd ragflow`   `git checkout -f v0.14.1

（2）修改docker子目录下的.env文件，进行初始化配置

这里特别要注意的是，在初始化环境变量里RAGFLOW_IMAGE环境变量指向的是标签为v0.14.1-slim镜像文件，该镜像未打包embedding models，我这里修改为v0.14.1。

其他变量参数包括相关组件的端口，应用的用户初始化密码、镜像下载地址等，按需进行调整和设置。

vi docker/.env

注释掉84行，使用第87行。

（3）进入ragflow目录，使用docker compose启动应用

进入 docker 文件夹，利用编译好的 Docker 镜像启动服务器，将开始将镜像下载到本地并完成启动：

cd ragflow``docker compose -f docker/docker-compose.yml up -d

（4）查看ragflow相关组件及启动情况

docker images``docker compose images``docker logs -f ragflow-server

4 配置RAGFlow-接入本地大模型

In your web browser, enter the IP address of your server and log in to RAGFlow.With the default settings, you only need to enter http://IP_OF_YOUR_MACHINE (sans port number) as the default HTTP serving port 80 can be omitted when using the default configurations.

在这里输入本机地址，因没更改默认端口即80,进入如下界面，第一次需要进行注册并登录。

完成注册登录后，进入如下页面，将页面调整为中文。

点击图像进入如下界面，配置模型提供商，这里默认为各种在线大模型供应商模型接入，但需要你去相应的模型供应商申请API key填入。

这里，我们配置接入本地部署的ollama管理的大模型

添加成功后，显示如下：

5 配置RAGFlow-创建知识库

进行初始化配置后，点击保存。

上传个人相关知识文档等，由系统进行解析处理。

点击新增文件，上传相关文档。可以当前选择，也可以拖拽文件夹

点击解析，系统将对上传文档进行文本识别（图片类文档）、分割、向量化处理。

由于个人笔记本性能问题，这里只做简单测试，不做大规模文档入库。解析完成后，进行检索测试。这里从王国维的东山杂记里，尝试检索柳如是的信息。

可以看到，向量化后的资料库里已经有了柳如是的信息，但切片不完整。由此可见，在进行资料入库时需要有针对性的辅助切片标注等。另外，也可能跟文言文有关系。

6 智能体应用测试

建立一个特定专业的智能体（Agent）,相当于你的一个数字健身，赋于它一个角色(role)，制定提示词（Prompt）,设置自由度，温度等。

（1）新建助理

角色设定及提示词

设置使用本地千问大模型并结合知识库内容进行回答，设定自由度为“精确”

下面开始问题测试：先只用本地千问大模型进行问答测试，我问他灶神是谁，千问没有正面回答我的问题。

尝试追问灶神具体是谁？我让千问从王国维的《东山杂记》里找答案，AI开始胡说八道了，大模型幻觉病发作。

再通过本地千问大模型结合本地知识库进行问答测试，该智能助理很快从本地知识库中找到了准确的答案。

可以看到，在专业知识库下回答的问题更有特定性。但总的来看，人工智能对文言文的理解还是较白话文差一些。通过RAGFlow可以建立不同领域的个人知识库及智能体，本文演示了如何结合AI大模型和知识库进行RAG。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

知识库搭建实战二十、Ollama+RagFlow 部署本地知识库
xiaoqi270620903的专栏
09-09 8753
通过以上步骤，你已经成功在 Windows 系统上通过 Docker 部署了一个本地化的大模型知识库，结合 RagFlow 和 Ollama，安装了通义千问2 7B 模型和中文 Embedding 模型，构建了一个支持中文问答的系统。这种设置适用于企业内部知识管理、自动化客服、智能问答等场景。
RAG 实践- Ollama+RagFlow 部署本地知识库
AGI_GGbond的博客
10-28 3150
本文我们介绍另一种实现方式：利用 Ollama+RagFlow 来实现，其中 Ollama 中使用的模型仍然是Qwen2
【云馨AI-大模型】RAGFlow功能预览：Dify接入外部知识库RAGFlow指南
最新发布
起而行动，方能平定心中的惶恐
03-14 974
开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。比 LangChain 更易用。RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。
手把手带你搭建RAGflow，专业AI知识库的开源工具，RAGflow零基础入门到精通，看这一篇就够了！
2401_85375298的博客
03-05 7708
在大模型应用的蓬勃发展中，检索增强生成（Retrieval-Augmented Generation，RAG）技术占据了举足轻重的地位。它就像是大模型的智慧助手，通过从外部知识库中检索相关信息，并将其融入到大模型的回答生成过程中，有效提升了大模型回答的准确性、可靠性和时效性，在问答系统、智能客服、文档摘要等多个领域都发挥着关键作用。上图是一个常见的AI应用的数据流向图，文档分块之后向量化存储到向量数据库，然后输入文本内容，形成prompt，从向量数据库检索相关的知识背景，发送给LLM之后，返回结果。
用Ollama+RAGflow打造私有知识库，全程干货，零基础小白也能轻松掌握！
嘴巴吃糖了
02-17 2309
Ollama 是一个本地运行的大语言模型（LLM）工具平台，允许用户在本地设备上运行和管理大模型，而无需依赖云服务。它支持多种开源模型，并提供了用户友好的接口，非常适合开发者和企业使用。
如何通过AI搭建自己的知识库（智能体）？零基础入门到精通，看这篇就够了！赶紧收藏！
Java癫疯的博客
02-28 5318
"扣子"是由字节跳动公司于2024年2月1日推出的一款集成AI智能体开发平台。它开创了国内AI聊天机器人快速开发的先河。▲扣子首页下面是扣子平台创建Bot的页面，对于初次使用的伙伴来说功能确实很多，但不知道从何下手搭建智能体。▲扣子智能体搭建页面。
Ollama在MacOS、Linux本地部署千问大模型及实现WEB UI访问
派大夏的博客
06-14 5340
阿里通义千问发布了Qwen2，提供了0.5B～72B的量级模型，在​​Ollama官网​​可以搜索qwen2查看，本文提供了Ollama的下载（在线/离线安装）、Ollama运行模型、使用WebUI连接模型以及页面简单配置。总体还是比较简单的，更高阶的玩法，看小伙伴的反馈，后面更新比如自定义智能体、训练等。
利用ollama + RAGFlow部署千问大模型构建个人知识库AI智能体应用
qkh1234567的博客
12-16 1209
将开源的大语言预训练模型部署到用户设备上进行推理应用，特别是结合用户专业领域知识库构建AI应用，让AI在回答时更具有专业性，目前已经有很多成熟的应用方案。其中，支持大模型本地化部署的平台及工具很多，比较出名的有ollama、vLLM、LangChain、Ray Serve等，大大简化了模型的部署工作，并提供模型全生命周期管理。
Docker+Ollama+RAGFlow本地部署DeepSeek R1并构建本地知识库
F8_11的博客
03-04 1584
本文详细记录了通过Ollama安装DeepSeek R1:7B模型，通过Docker加载Open-WebUI，RAGFlow框架，并以RAGFlow为基础搭建本地知识库，其中embedding模型选择了比较受欢迎的nomic-embed-text。通过对通用大模型融合本地知识库进行推理的亲自体验，形成对于DeepSeek等AI大模型利用方式的新认识。
DEEP SEEK 本地部署（Ollama + ChatBox）+ 私有知识库（cherry studio）教程
02-06
文中针对不同硬件条件给出了具体配置推荐，并逐步讲解了从安装 Ollama 到运行特定大小版本 DeepSeek 模型（如 1.5b 至 70b），再到设置 API 键连接云端服务以及最后利用 Cherry Studio 构建个人专属的知识库的一系列...
Ollama+ragflow 构建AI大模型
2401_88194955的博客
02-21 2191
wsl --set-version 命令可用于从 WSL 2 降级到 WSL 1，或将以前安装的 Linux 发行版从 WSL 1 更新到 WSL 2。要更改版本，输入 wsl --set-version <distro name> 2 命令将 <distro name> 替换为要更新的 Linux 发行版的名称。Ollama是一个开源的大型语言模型服务，提供了类似OpenAI的API接口和聊天界面，可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件，无需重新启动即可切换不同的模型。
基于本地知识库搭建好用的智能体
2401_85373898的博客
11-05 1290
在前面关务AI的文章中，有提到报关作为专业知识要求比较高的行业，用现有AI，比如KIMI，秘塔等工具，它的回答是基于现有网络搜索，相比于我们现有搜索来说，它提高了我们的工作效率在于汇总网页内容，那么如果基于设定的本地知识库，AI的输出结果怎么样呢？经历了一周通宵的摸索，尝试用智谱清言AI来搭建基于设定数据库的报关智能体，初步输出结果很出乎意料，下面尝试把本周的心得总结一下，供大家参考。在智普页面可选择创建智能体。
RAGFLOW 配置 Ollama 大模型流程（重点涉及参数配置）
weixin_47782004的博客
11-10 2247
当温度接近 0 时，模型会选择概率最高的单词，输出更加确定性、保守，往往会产生比较常规、可预测的文本。当温度较高（如大于 1）时，模型会更多地考虑概率较低的单词，输出更加随机，可能会产生富有创意但也可能不太准确的内容。不过，要注意模型和数据的特点，有些模型结构可能本身并行性有限，过度追求并行度可能不会带来明显的性能提升，甚至可能导致错误。从计算角度看，它与模型的并行计算能力有关，较大的批处理大小可以更充分地利用计算资源，提高计算效率，但也会增加内存需求。这样可以使生成的文本更加丰富多样，避免单调的重复。
【应用实战】利用Ollama + RAGFlow部署千问大模型：构建个人知识库AI智能体
2401_85390073的博客
12-28 2187
将开源的大语言预训练模型部署到用户设备上进行推理应用，特别是结合用户专业领域知识库构建AI应用，让AI在回答时更具有专业性，目前已经有很多成熟的应用方案。其中，支持大模型本地化部署的平台及工具很多，比较出名的有ollama、vLLM、LangChain、Ray Serve等，大大简化了模型的部署工作，并提供模型全生命周期管理。
【AI大模型】RAG 实践- Ollama+RagFlow 部署本地知识库
datian1234的博客
12-07 1175
借助大模型和 RAG 技术让我可以与本地私有的知识库文件实现自然语言的交互。 本文我们介绍另一种实现方式：利用 Ollama+RagFlow 来实现，其中 Ollama 中使用的模型仍然是`Qwen2` 我们再来回顾一下 RAG 常见的应用架构
大模型（deepseek）之LLM+RAG构建本地化知识库应用（Ollama+Deepseek+RAGFlow）
qq_31400983的博客
10-07 8789
应用RAG（Retrieval Augmented Generation，检索增强生成）构建本地知识库，并与LLM（大模型）相结合，可有效解决LLM知识更新难问题，已成为专业领域智能问答的首选，下面就以Ollama+Deepseek+RAGFlow为例构建本地知识库应用。
【大模型实战篇】基于开源大模型的问答系统本地部署实战教程
源泉的小广场
07-26 2729
大模型问答系统、问答、对话、本地部署、ollama、llama、qwen、docker、webui、open webui、大语言模型、llm、large language model、对话机器人
Agentic RAG 详解 - 从头开始​​构建你自己的智能体系统
Elastic 中国社区官方博客
03-11 2039
​虽然检索增强生成（RAG）在 2023 年占据主导地位，但代理工作流正在推动 2024 年的巨大进展。智能体的使用为构建更强大、稳健且多功能的 大型语言模型（LLM）应用程序开辟了新的可能性。其中一种可能性是在 RAG 流水线中引入智能体，形成代理式 RAG 流水线。 本文将介绍 Agentic RAG 的概念、其实现方式，以及其优势和局限性。
Deepseek+ollama+Ragflow本地部署知识库详细解答
02-23
### 关于 Deepseek、Ollama 和 Ragflow 的本地部署实施方案 #### Deepseek 本地部署概述 Deepseek 是一款专注于自然语言处理的知识库解决方案，支持高效的文档管理和语义搜索功能。对于希望构建私有知识管理系统的用户来说，Deepseek 提供了一套完整的工具链来帮助完成从数据采集到索引建立再到最终查询服务的一系列操作[^1]。 为了在本地环境中安装和配置 Deepseek： 1. **环境准备** - 安装 Docker 及其相关组件。 - 配置必要的网络设置以便容器间通信顺畅。 2. **拉取镜像与初始化数据库** 使用官方提供的命令下载最新版本的应用程序包，并按照指引创建初始结构化的存储空间用于保存后续导入的数据集。 3. **加载预训练模型** 根据具体应用场景选择合适的机器学习算法框架作为后台支撑力量，在此基础上加载已经过优化调整过的参数文件以加速新项目的开发周期。 4. **集成第三方API接口** 如果项目中有涉及到外部资源调用的需求，则可通过 RESTful 或 GraphQL 协议轻松对接各类公共服务平台所提供的 API 接口，从而扩展应用的功能边界。 5. **测试验证环节** 利用内置的压力测试工具模拟真实世界的并发访问情况，确保整个系统能够在高负载条件下稳定运行；同时也要注意定期备份重要资料以防意外丢失。 ```bash docker pull deepseek/latest docker run --name=deepseek-db -e POSTGRES_USER=user -e POSTGRES_PASSWORD=password -d postgres:latest ``` #### Ollama 本地部署指南 Ollama 致力于为企业提供一站式的AI驱动型知识管理系统，具备良好的可移植性和灵活性特点。通过简单的几行脚本即可快速搭建起一套基于云原生架构设计的服务集群，满足不同规模企业内部协作交流过程中所产生的多样化诉求。 针对想要自行托管实例的情况而言： - 下载适用于目标操作系统类型的二进制执行文件； - 修改默认配置项中的监听地址端口号等基本信息； - 启动主进程之前先检查依赖关系是否齐全； - 访问浏览器输入指定URL路径查看图形界面版控制面板； - 导入样例工程熟悉基本的操作流程之后再逐步引入实际生产环境里的素材内容进行加工整理。 ```jsonnet { "api": { "listen_addr": ":8080", "max_body_size_mb": 10, ... }, } ``` #### Ragflow 本地部署说明 Ragflow 特别适合那些寻求高级定制选项和技术深度的企业级客户群组，拥有出色的 RAG 引擎及工作流编排能力，可以应对更为复杂多变的任务场景要求[^2]。下面是一份简化后的部署手册摘要： ##### 准备阶段 - 确认硬件设施达标（CPU/GPU内存容量充足） - 获取授权许可密钥激活产品特性权限 - 设置 GitLab CI/CD 流水线自动化持续交付管道 ##### 执行步骤 - 构建基础镜像并推送至私有的 Harbor 私服仓库内待命 - 编写 Helm Chart 文件定义好各微服务之间的关联映射关系图谱 - 应用 YAML 清单描述符启动 K8S Pod 实例集合体形成分布式计算网格布局 - 登录 Web 控制台页面校验各项指标数值是否正常无误 ```shell helm install my-release ./ragflow-chart \ --set image.repository=my.harbor.repo/ragnaroek/ragflow-server \ --set image.tag=v1.0.0 \ -f values.yaml ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值