【开源项目】MaxKB+Ollama：构建私有化知识库问答系统

最新推荐文章于 2024-06-13 17:19:24 发布
最新推荐文章于 2024-06-13 17:19:24 发布
阅读量1.7k 收藏 4
点赞数 2
文章标签： 开源
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwNTQwODM2OA==&mid=2247485387&idx=1&sn=8db2055a1684a01517445731f169a0c2&chksm=9621589184a453745c0fe0b841930889e7ffcbbca6fcc434d3b72d56f296c7f997b0f934bda7&scene=126&sessionid=0
版权

点击上方“AI搞事情”关注我们

MaxKB:开源知识库问答系统

bbad47bc375e3e28cc26404c43b75769.png

MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base，旨在成为企业的最强大脑。

  • 开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好；

  • 无缝嵌入：支持零编码快速嵌入到第三方业务系统；

  • 多模型支持：支持对接主流的大模型，包括 Ollama 本地私有大模型（如 Llama 2、Llama 3、qwen）、通义千问、OpenAI、Azure OpenAI、Kimi、智谱 AI、讯飞星火和百度千帆大模型等。

快速开始

方式一：docker部署
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data --privileged=true 1panel/maxkb

# 用户名: admin
# 密码: MaxKB@123..

从运行命令可以看到，服务依赖postgresql数据库，所以提前需要安装postgresql数据库。docker一键部署postgresql

$ docker run -itd --name postgres -e POSTGRES_PASSWORD=连接PostgreSQL的密码 -e ALLOW_IP_RANGE=0.0.0.0/0 -p 5432:5432 -v /postgres/data:/var/lib/postgresql/data postgres:latest

不然日志会报：

waiting for postgres  
127.0.0.1:5432 - no response

最后，通过IP:8080端口就可以访问maxkb页面了

aa8a087b4cd58e1ad429e757f7d46c13.png

接着，创建自己的应用了，不过依赖大模型，这里我们接入开源Ollama LLM模型

5c422a8a06f217d9b7ae9f4fac01201b.png
方式二：1Panel 应用商店

你也可以通过 1Panel 应用商店 快速部署 MaxKB + Ollama + Llama 2，30 分钟内即可上线基于本地大模型的知识库问答系统，并嵌入到第三方业务系统中。

6fd039865019b2bde4184e70a8ff3399.png
方式三：本地部署

下载源码并运行python程序入口：

git clone https://github.com/1Panel-dev/MaxKB.git
cd MaxKB
python main.py

在线体验

你也可以在线体验：DataEase 小助手，它是基于 MaxKB 搭建的智能问答系统，已经嵌入到 DataEase 产品及在线文档中。

如你有更多问题，可以查看使用手册，或者通过论坛与我们交流。

  • 使用手册

  • 演示视频

  • 论坛求助

  • 技术交流群

UI 展示

42c1574f057fa7905c4524ef01f682bd.png

技术栈

  • 前端：Vue.js

  • 后端：Python / Django

  • LangChain：LangChain

  • 向量数据库：PostgreSQL / pgvector

  • 大模型：Azure OpenAI、OpenAI、百度千帆大模型、Ollama、通义千问、Kimi、智谱 AI、讯飞星火

Star History

outside_default.png
Star History Chart

ollama:开源大语言模型服务工具

f2ebd3fcb134892e3f57911184d418e9.png

部署安装

docker安装
# 拉取镜像
docker pull ollama/ollama
# 运行镜像
docker run -it -v ollama:/root/.ollama -p 11434:11434 --privileged=true --name ollama ollama/ollama

不加--privileged=true，报错：

runtime/cgo: pthread_create failed: Operation not permitted

访问测试，提示正在运行6148aa198ccb69c6f1b933e020ee019d.png

模型下载

进容器进行模型下载，不然后面添加模型会报NoneType

docker exec -it ollama ollama run qwen

MaxKB + Ollama智能问答系统

添加模型

  • 依次点击系统设置->模型设置->Ollama->添加模型

  • 模型名称填写自定义的名称即可

  • 模型类型选择 大语言模型

  • 基础模型不能随意填写，只能使用ollma模型库中已有的模型，这里我们用的是qwen:1.8b

  • API域名填写前面ollama起服务的机器ip和端口（11434）

  • API Key随便填

dba54f637c6861346f43df1839072d54.png

点击添加后开始下载模型，

3f8db256a7631c3add7d1fb19ff57d47.png

创建知识库

企业私有的专业知识库，包含各种类型的数据，是问答对话中回答用户问题的知识来源。

MaxKB 知识库分为:通用型知识库和Web 站点知识库两种类型。
通用型知识库：对离线文档上传管理，支持的文档类型为 Markdown、TXT、PDF、DOCX 类型的文本数据。

Web 站点知识库：用于获取在线静态文本数据管理，输入 Web 根地址后自动同步根地址及子级地址的文本数据。

我们以水浒传来创建知识库，可以从网上下载
点击【知识库】菜单，进入知识库列表页面，该页面支持知识库创建、编辑、同步、删除、查询等功能。

cea3c8ddd059961d897efbc276b69f5a.png

创建并导入，由于文档本身通过换行符进行了分段，我们通过高级分段，并选择分段标识为回车，然后点击生成预览，可以简单预览下分段的效果：

4e7a1f35379e73dc0dc5f751d2be04e8.png

开始导入，显示 知识库创建成功,但是文档还在持续导入中...

fe9e810d3a9075b5ed9e419829f45575.png

从日志看，这里主要是将文档进行向量化，一般也需要比较长的时间。

2024-05-13 17:26:32 [listener_manage INFO] 开始--->向量化数据集:e22b6526-110a-11ef-9017-0242ac110011
2024-05-13 17:26:32 [basehttp INFO] "POST /api/dataset HTTP/1.1" 200 714
2024-05-13 17:26:32 [listener_manage INFO] 数据集文档:['水浒传.txt']
2024-05-13 17:26:32 [listener_manage INFO] 结束--->向量化数据集:e22b6526-110a-11ef-9017-0242ac110011
2024-05-13 17:26:32 [listener_manage INFO] 开始--->向量化文档:e22bc2e6-110a-11ef-9017-0242ac110011
2024-05-13 17:29:37.318 CST [66] LOG:  checkpoint starting: time
2024-05-13 17:31:52.298 CST [66] LOG:  checkpoint complete: wrote 1329 buffers (8.1%); 0 WAL file(s) added, 0 removed, 0 recycled; write=134.975 s, sync=0.004 s, total=134.980 s; sync files=40, longest=0.001 s, average=0.001 s; distance=9868 kB, estimate=9868 kB
2024-05-13 17:32:21 [listener_manage INFO] 结束--->向量化文档:e22bc2e6-110a-11ef-9017-0242ac110011
2024-05-13 17:34:37.377 CST [66] LOG:  checkpoint starting: time

创建应用

基于前面两步创建的AI模型和关联知识库创建AI应用，点击应用->创建应用，填入应用名称和应用描述，修改开场白。

5fb6a3802637bf59261b8a75728bbf66.png

点击创建，智能问答机器人便创建成功了，右侧调试预览页面可以体验我们创建的问答机器人，不过这答案着实让人有点想哭/(ㄒoㄒ)/~~，我们可以使用更大的模型或者优化提示词，优化回答效果。

2c26d7d3f4499b699b6f2c392dfee603.png

同时，由于服务器没有GPU，回答相对比较耗时。若有GPU的话，部署加上ollma服务时，加上--gpus all

docker run -it -v ollama:/root/.ollama -p 11434:11434 --privileged=true --name ollama --gpus all ollama/ollama

参考：

  1. MaxKB: https://github.com/1Panel-dev/MaxKB

  2. 操作教程丨MaxKB+Ollama：快速构建基于大语言模型的本地知识库问答系统
    https://www.bilibili.com/read/cv33865421/

  3. 使用手册:  https://github.com/1Panel-dev/MaxKB/wiki/1-%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2

  4. 演示视频: https://www.bilibili.com/video/BV1BE421M7YM/

  5. 论坛求助: https://bbs.fit2cloud.com/c/mk/11

  6. Ollama: https://github.com/ollama/ollama

  7. ollama模型库：https://ollama.com/library

  8. Llama3 中文版整合MaxKB打造私有化知识库问答系统 https://www.bilibili.com/read/cv34130344/

  9. 基于Ollama+MaxKB快速搭建企业级RAG系统 https://zhuanlan.zhihu.com/p/694850029

9f1413bc702f27d95b71bbc496b2c9d0.png

1d7b099be5c4ef8355c7a6033ce928b5.png

d9581fd6a5d16dae676323de9b944664.jpeg

长按二维码关注我们

有趣的灵魂在等你

4ed32fdcf3bac625d760dc07ffab44e2.gif

3db9d53c9f56a6c6b344a3ca32ce64f2.png

54f93efdd235e7eb8cd95e8f1ad9b135.png

fahaihappy
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
利用MaxKB结合Ollama搭建知识库
program哲学
04-26 750
详细介绍利用MaxKB结合Ollama搭建知识库,30 分钟内即可上线基于本地大模型的知识库问答系统，亲测可用
myQA:知识库问答系统
03-11
myQA知识库问答系统使用nlpcc中文知识库现在使用sqlite存储合并涉及实体查询分词词性标注命名实体识别初步答案生成答案问答样例如下问题：可口可乐公司的总部（'可口可乐公司'，'总部所在地'，'美国佐治亚州亚特兰大...
MaxKB创建本地知识库
Baker的博客
05-15 483
点击创建知识库后，设置知识库的名字，描述，然后上传知识库的文件，这里只是两种知识库，第一种是上传文件，大模型会解析文件中的文字，将文字分解后放到数据库，在需要的时候从数据库查询问题的答案，匹配上了就会引用知识库中的信息，第二种是通过url地址获取，同样会把数据存到数据库，这里演示第一种，我们做一个测试的文本文档上传，拖拽文件上传后点击创建并导入，回到应用界面，点击应用的设置，在应用信息中有关联知识库选项，点击其中的添加，把刚才的知识库加入进来，然后点击保存，就把知识库和这个应用关联起来了。
开源代码langchain+LLM本地知识库问答系统
06-06
【开源代码】langchain+LLM本地知识库问答系统 利用LangChain和ChatGLM-6B系列模型制作的Webui, 提供基于本地知识的大模型应用.目前支持上传 txt、docx、md、pdf等文本格式文件, 提供包括ChatGLM-6B系列、Belle系列等模型文件以及GanymedeNil/text2vec-large-chinese、nghuyong/ernie-3.0-base-zh、nghuyong/ernie-3.0-nano-zh等Embedding模型.
本地知识库开源框架Fastgpt、MaxKB产品体验
小生测试的博客
06-01 980
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！官网：https://fastgpt.in官网文档：https://doc.fastgpt.in/docs/intro/登录后切到知识库页面创建知识库支持多种格式也支持多种的数据源上传后解析解析完成关联知识库，右边可以进行调试，调试成功后点击发布保存返回到知识库对话。
AI | 基于 MaxKB+Ollama+Llama3 手把手从0-1构建本地私有化知识库
最新发布
ytt0523_com的博客
06-13 824
随着人工智能技术的快速发展-大型语言模型（LLM），如 OpenAI 的 GPT 系列，已成为众多企业和个人关注的焦点，而 Ollama 作为一款开源的大型语言模型服务工具，正逐渐受到开发者和研究人员的关注，本文将探讨基于 MaxKB+Ollama +Llama3 如何快速零成本构建本地私有化 AI 知识库！
ChatOllama构建AI聊天和知识库问答
热门推荐
wbsu2004的博客
03-22 1万+
ChatOllama 是基于 Ollama 的Web应用，支持 AI 聊天和本地知识库问答。
操作教程丨MaxKB+Ollama：快速构建基于大语言模型的本地知识库问答系统
FIT2CLOUD飞致云的博客
04-18 5945
30分钟上线基于大语言模型的知识库问答系统。
使用MaxKB添加本地部署的Ollama大语言模型搭建智能聊天系统
FGGIT的博客
05-06 2021
使用MaxKB添加本地部署的Ollama大语言模型搭建智能聊天系统
私有化部署FastGPT+OneAPI大模型知识库
hou610433155的博客
01-18 5177
动手实践私有化部署大模型知识库，使用FastGPT+oneapi，实现本地化部署
本地部署Llama3并构建私人知识库进行问答
xiangxueerfei的博客
05-30 1236
最新的Llama3，基础版本在对话方面，已经非常可用，相当于本地有了一个随时可以聊天的助手。在构建私人知识库进行问答方面，我试的几个工具，目前都还处于不太可用的状态，我调过一些参数，也尝试了使用Markdown文本的知识库，都不OK。期待早日这类工具能更完善些，或者LLM运营商提供私人知识库服务。更期待Llama3 70B级别的LLM能在本地便捷地运行起来。
AIGC项目-搭建本地知识库问答系统实现任何事物的问答-项目实战-附完整详细流程教程.zip
01-19
AIGC项目_搭建本地知识库问答系统实现任何事物的问答_项目实战_附完整详细流程教程
一个基于知识图谱的电影问答系统python源码+项目说明+数据.zip
04-11
一个基于知识图谱的电影问答系统python源码+项目说明+数据.zip # movie-KBQA 一个基于知识图谱的电影问答系统 通过code运行，有一个简单的前端界面，需要自行导入数据库，导入的代码在preprocess_data .......
KB-QA:基于知识库的中文问答系统（biLSTM）
03-11
基于知识库的中文问答系统。整体流程如下： 根据背景和问题寻找到最相关的K个知识， K Knowledge+Background+Question构成一个大问题。 正确选项分别与该问题中所有错误选项组合，构成3个答案组合，分别与大问题组合...
本地源码方式部署启动MaxKB知识库问答系统，一篇文章搞定！
舒一笑的博客
05-27 1904
初始的账号admin 密码 MaxKB@123… 登录之后会提示你修改密码首先部署时候一定要看官网的配置要求，数据库和python版本一定要对应上，不要太高或者太低。数据库这块真心推荐使用docker的方式运行不然真的有的依赖真心难装。下面这个截图就是我之前本地部署时候总是出现的报错，好在最后通过docker方式部署数据库解决了最后说一句(求关注，别白嫖我)如果这篇文章对您有所帮助，或者有所启发的话，帮忙扫描下发二维码关注一下，您的支持是我坚持写作最大的动力。
Docker部署MaxKB详细步骤（window系统）
Baker的博客
05-15 2859
上面章节已经实现了ollama李现部署llama3，并实现了一些简单的问答，但是问答的界面是在命令提示符中，交互很不友好，也不方便局域网其他用户访问，所以这节用docker部署MaxKB实现网页访问llama3，首先电脑上需要安装docker，window系统需要开启虚拟化后才能安装docker，这个可以找相关教程安装下，有了docker后就可以开始部署MaxKB了。点击创建后就创建好了应用，此时应用列表会出现和刚才模型差不多的卡片，点击卡片后，显示这个模型对话框的详细内容，点击演示，就可以进入对话了。
基于Ollama+AnythingLLM搭建本地私有知识库系统
sheex2012的博客
04-30 7878
本文介绍了LLM在落地应用中的不足，并引入了RAG框架和原理，以及RAG在私有知识库建设中的重要作用。并以Ollama和AnythingLLM为实现手段，构建了并测试了本地知识库，测试结果表明，有了RAG的加持，LLM的回答结果更加贴切，有效。
1panel+MaxKB+Ollama+Llama Linux部署指南
weixin_50482233的博客
05-13 2132
打开编辑，可以直接修改文件保存的路径 ，即本机目录。llama3:70b,一张A100（80G显存）可以运行起来，45G显存就可以运行，但能不能推理没尝试过。如果在演示中，出现限制次数问题，可以在应用中，点击应用设置，选择访问限制，可以调到10000。其中-p后面的的第一个11434是连接时的端口号，如果有端口冲突可以改变，若没有，则可默认。：这不是在线安装，需要你事先在本地中下载好模型，若忘记，可以返回查看3.3如何下载模型。之后可以添加应用了，也可以加入自己的知识库，选择好模型，点击创建，就完成了。
介绍一下刘焕勇老师在github上的开源项目：基于知识图谱的医疗问答系统
05-22
刘焕勇老师在 GitHub 上的开源项目是一种基于知识图谱的医疗问答系统，它能够回答医学领域的问题。该项目使用了自然语言处理和知识图谱技术，能够将用户提出的问题转化为语义表示，并从知识图谱中找到最佳答案。 该项目的主要特点是，它使用了开源的医学知识图谱，并将其与问答系统相结合。该知识图谱包含了大量的医学实体和概念，并且具有良好的结构和层次关系。这样，系统可以根据用户提出的问题，快速地定位到相关的实体和概念，并针对性地进行答案推荐。 该项目还使用了多种技术来实现问答系统的功能，包括自然语言处理、实体识别、关系抽取、问题匹配等。通过这些技术的应用，系统可以处理各种复杂的医学问题，并提供准确的答案。 总的来说，刘焕勇老师在 GitHub 上的开源项目是一种非常有用的医疗问答系统，它将知识图谱和自然语言处理技术相结合，能够帮助医学领域的专业人士和患者解决各种问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值