RAG 实践- Ollama+MaxKB 部署本地知识库

于 2025-05-07 16:25:06 发布
阅读量569 收藏 30
点赞数 13
文章标签： 人工智能 LLM 知识图谱 私有化部署 llama RAG 知识库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82469710/article/details/147768948
版权

本文我们介绍另外一种部署本地知识库的方案：

Ollama + MaxKB

相对来说，容易安装且功能较完善，30 分钟内即可上线基于本地大模型的知识库问答系统，并嵌入到第三方业务系统中。

缺点是如果你的电脑配置不高，问题回答响应时间较长。

下图为 MaxKB 的产品架构：

实现原理上，仍然是应用了 RAG 流程：

安装 MaxKB

首先我们通过 Docker 安装 MaxKB

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb

注意这里镜像源是 china mainland，走代理的镜像会下载失败。

安装成功后访问：http://localhost:8080/ 登录，初始账号为：

用户名: admin
密码: MaxKB@123..

进入系统后是这样的：

配置模型

接下来我们进行最重要的模型配置

可以看到有许多模型的供应商，这里你可以通过 API key 在线去连接大模型

API key 不同的模型厂商有不同的申请地址，这种方式不是本文采用的方式，本文我们将把通过 Ollama 本地部署的 Qwen2 大模型配置到 MaxKB

所以，第一步我们添加模型选择 Ollama

第二步配置模型，在模型添加界面有几个点要注意（下图是修改界面，和添加界面差不多）

  1. 模型名称和基础模型一定要和你在 ollama list 中显示的一样，不然可能会导致没有必要的重复下载和连接失败

  1. API 域名，因为 MaxKB 是 Docker 部署的，Ollama 是本机部署的，不在一个网络环境，所以要填 ：http://host.docker.internal:11434
  2. API Key 随便写什么都行

创建知识库

模型添加完成，就可以创建知识库了。

这个比较简单，通过界面功能自己就能搞定，我就不多说了

这里比较好的是，MaxKB 支持选择文件夹，这一点 AnythingLLM 就不行，不过一次上传文件数量有限：

支持格式：TXT、Markdown、PDF、DOCX、HTML 每次最多上传50个文件，每个文件不超过 100MB 若使用【高级分段】建议上传前规范文件的分段标识

创建应用

知识库创建完，就可以创建应用进行问答了

这里注意除了要为应用添加知识库外，还要进行一下参数设置

我选择的是第二项，因为我的知识库数据量较小

设置完成后点击演示

问答效果展示

这里不太好的是没有同时展示引文，更不用说引文的预览了，实际上这个功能基本上是企业应用上的 刚需

嵌入第三方应用

嵌入三方应用的需求也是比较常见的，比如你可以通过 iframe 或者 js 代码的形式嵌入到你现有的系统中，我们经常看到一些网站右下角的浮窗就是这种形式，在 MaxKB 中支持嵌入三方应用，需要在应用的 “概览” 中点击 “嵌入第三方”

剩下的你只需要把代码集成到你的其他应用中就可以了

思考

学习新知识，最好的方式就是直接去应用它，你可能从来都不知道什么是 RAG，但对相关知识有个大概了解后，通过实践，亲自搭建几个可以 run 起来的应用，那些架构里的结构、名词，逐渐全部都能对应得上了。

我笔记本的配置有限，如果所有的东西都部署在配置有性能强较的显卡的服务器上，那么就可以满足企业级应用的需求了，企业可以直接完成私有化部署并开始应用。

 如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

 

Ollama+MaxKB 部署本地知识库
2401_84052244的博客
08-09 5756
嵌入三方应用的需求也是比较常见的，比如你可以通过 iframe 或者 js 代码的形式嵌入到你现有的系统中，我们经常看到一些网站右下角的浮窗就是这种形式，在 MaxKB 中支持嵌入三方应用，需要在应用的 “概览” 中点击 “嵌入第三方”学习新知识，最好的方式就是直接去应用它，你可能从来都不知道什么是 RAG，但对相关知识有个大概了解后，通过实践，亲自搭建几个可以 run 起来的应用，那些架构里的结构、名词，逐渐全部都能对应得上了。我选择的是第二项，因为我的知识库数据量较小。
无缝融入，即刻智能[4]：MaxKB知识库问答系统[进一步深度开发调试，完成基于API对话，基于ollama大模型本地部署等]
丨汀、的博客
08-05 629
无缝融入，即刻智能[4]：MaxKB知识库问答系统[进一步深度开发调试，完成基于API对话，基于ollama大模型本地部署等]
RAG实战：Ollama+MaxKB本地知识库部署
2401_85390073的博客
07-04 1762
相对来说，容易安装且功能较完善，30 分钟内即可上线基于本地大模型的知识库问答系统，并嵌入到第三方业务系统中。缺点是如果你的电脑配置不高，问题回答响应时间较长。
ollama + maxkb 搭建本地知识库
编程探索与数字构建 | Python与Java之旅
07-13 688
概述：基于 LLM 大语言模型的知识库问答系统。
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1296
参考 [小学生也能听得懂的大模型 Transformer 1]
Ollama+MaxKB 搭建本地大模型知识库
python12345_的博客
11-23 1350
大模型在训练时学习到的知识大部分都是些通用知识，当我们向它提问一下专业领域的知识时，往往不能得到很多的效果。对于这种情况，我们可以将涉及到的一些专业或预备知识构建成知识库，在模型回答问题时让它去知识库中找到最相关的段落，然后带着这些知识与问题一起生成更精准的回答。在这方面目前已经有了比较成熟的开源项目MaxKB，说不多话，直接分享如何搭建本地大模型知识库首先登录ollama官网(https://ollama.com/download/)，点击对应操作系统下载后一键安装ollama本地部署开源模型。
deepseek+ollama+maxkb部署自己的本地知识库详解【纯玩-详解】
python|大数据爱好者Alvin
02-19 1219
deepseek+ollama+maxkb部署自己的本地知识库详解
利用大模型技术，打造本地个人专属知识库
晨曦蜗牛
06-27 2550
预训练的大型语言模型已经成为推动自然语言处理领域进步的关键力量。这些模型凭借其强大的语境理解、生成和交互能力，在信息检索、知识管理、创意辅助等多个领域展现出巨大潜力。然而，当前大多数应用依赖于云端服务，用户数据需上传至远程服务器进行处理，这不仅涉及隐私安全问题，也对网络环境有较高要求。鉴于此，利用主流开源大模型技术，构建一套运行于本地环境的个人专属知识库系统，整合个人积累资源，实现知识的高效管理、个性化学习与创作辅助，同时保障用户数据的私密性与安全性与充分应用本地计算资源。
Deepseek+Dify部署本地知识库及应用
qq_23435961的博客
02-24 991
Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用
太强了！Ollama + MaxKB零代码本地搭建个人知识库AI应用，数据安全，还可以有权限控制！！
2401_85327249的博客
01-31 1085
当提到“大模型”和“本地部署”，很多人可能第一反应是：“这是不是只有那些顶尖的技术大牛才能搞定？” 其实，随着开源工具的发展，构建自己的大模型和知识库已经变得轻而易举，就像请一个聪明的私人助理帮你处理日常任务一样简单
Linux安装Ollama+MaxKB打造本地知识库
马儿不会飞
08-13 3517
Linux安装Ollama+MaxKB打造本地知识库
大模型入门实战：通过 HuggingFace 调用 Llama3
python12345_的博客
01-10 1492
至此，我们成功演示了如何通过 Hugging Face 的 Transformers 调用 Llama 模型，并获取了模型的回答。但是如果你的需求只是简单地调用模型，而无需进行微调或复杂的部署，可以尝试使用 Ollama。它不仅操作更加便捷，还提供了开箱即用的 RESTful 接口，适合快速集成到生产环境中。下一篇，我将会讲解如何通过 Ollama 下载部署 Llama 模型并调用。
（超详细)AI大模型部署安装,傻瓜式安装配置步骤，解决一切问题
大模型研究中心
09-25 7413
Rerankers是Github上支持rerank模型本地化的一个开源项目，支持不同类型的rerank模型，比如transformer-based, API-based，RankGTP等。我理解transformer-based cross-encoder类型的模型是主流，所以后续采用的也是这种。我了解有限，建议参考github项目文档了解更全面的信息。
手把手教你实现Ollama+MaxKB 创建本地知识库
bagell的博客
11-19 4190
今天我们介绍一种部署本地知识库的方案：Ollama+MaxKB废话不多说，直接开始吧首先我们通过 Docker 安装 MaxKB (maxKB可以安装在本地，也可以安装在云服务器上)进入系统后，是这样的接下来我们进行最重要的模型搭建，模型搭建我们选择直接租赁GPU，以在GPUEZ平台(https://gpuez.com)为例登录智算云算力平台，租赁实例最近智算云平台一直在做活动，新用户注册即送5元体验金，平台所有商品一律8折，这波羊毛值得薅一薅。
只需三步，本地打造自己的AI个人专属知识库
热门推荐
AAI666666的博客
04-08 3万+
只需三步，本地打造自己的AI个人专属知识库
Ollama+DeepSeek+MaxKB搭建本地知识库
wal1314520的博客
02-19 3556
基于上面的步骤，我们就成功部署了MaxKB，下面我们就要开始创建本地知识库，这部分相对就比较简单了，可以参考MaxKB官网文档（https://maxkb.cn/docs/quick_start/）进行查看。希望我的这篇文章，能够帮助小伙伴们搭建本地化的知识库，MaxKB是一个开源工具，也可以用别的替代它的功能，现在市面上的几个开源的都差不多，选择一个自己喜欢的就好。直接点OK按钮就进入安装了。登录后主界面如下，一般流程是创建知识库，再配置本地大模型，最后创建应用，就完成本地知识库的搭建了。
使用MaxKB添加本地部署的Ollama大语言模型搭建智能聊天系统
FGGIT的博客
05-06 6322
使用MaxKB添加本地部署的Ollama大语言模型搭建智能聊天系统
操作教程丨MaxKB+Ollama：快速构建基于大语言模型的本地知识库问答系统
FIT2CLOUD飞致云的博客
04-18 1万+
30分钟上线基于大语言模型的知识库问答系统。
AI大模型的本地化部署
最新发布
dt_dev的博客
03-10 425
AI大模型的本地化部署，是将原本在云端运行的大型人工智能模型，转移到本地的硬件设备上运行。这种部署方式，在数据隐私、网络延迟、成本控制等方面，都有着重要的意义。以下是关于AI大模型本地化部署的一些关键方面。总而言之，AI大模型的本地化部署，是一项具有挑战性但也充满机遇的技术。随着硬件资源的不断提升和模型优化技术的不断发展，本地化部署的应用前景将更加广阔。
maxkb构建知识库
03-08
### 使用 MaxKB 构建知识库教程 #### 创建知识库 在 MaxKB 应用界面中，点击“知识库”菜单，选择创建知识库。在此过程中需填写相关信息完成创建并导入知识库[^3]。 对于离线文档而言，在“知识库类型”选项里应选择“通用型”。而对于在线文档，则应在相同位置选择“Web站点”类型。 #### 配置环境与部署 确保系统已安装 Docker，以便于快速部署 MaxKB 和其他必要组件如 Ollama 框架。这一步骤是成功运行 MaxKB 的前提条件之一[^2]。 #### 利用成熟技术保障回复准确性 MaxKB 采用 LLM（大型语言模型）加 RAG（检索增强生成）的技术方案来处理用户提问，并从已有知识库内查找最贴切的答案返回给用户。这种方式不仅提高了回答质量还减少了因大模型可能出现的错误而导致的结果偏差问题[^4]。 ```python # 示例 Python 代码片段展示如何连接到本地部署的服务接口获取响应 import requests def query_knowledge_base(question): url = 'http://localhost:8080/api/query' payload = {'question': question} response = requests.post(url, json=payload).json() return response['answer'] if __name__ == "__main__": user_question = input("请输入您的问题:") answer = query_knowledge_base(user_question) print(f"来自知识库的回答:{answer}") ``` 通过上述方法，可以有效地利用 MaxKB 来构建适合特定需求的知识库系统，从而更好地服务于不同应用场景下的信息查询请求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值