目录
搭建本地私有知识问答系统:MaxKB、Ollama 和 Llama3 实现指南
引言
在当今信息爆炸的时代,构建一个本地私有知识问答系统可以帮助组织和个人高效管理和利用知识。本文将详细介绍如何在本地 Windows 环境下,利用 MaxKB、Ollama 和 Llama3 搭建一个功能强大的私有知识问答系统。
MaxKB+Ollama+Llama 3 Start building
MaxKB 简介:
MaxKB 是一款基于 LLM 大语言模型的开源知识库问答系统,旨在成为企业的最强大脑,支持从多种数据源导入和管理知识。。
- 开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化、RAG(检索增强生成),智能问答交互体验好;
- 模型中立:支持对接各种大语言模型,包括本地私有大模型(Llama 3 / Qwen 2 等)、国内公共大模型(通义千问 / 智谱 AI / 百度千帆 / Kimi / DeepSeek 等)和国外公共大模型(OpenAI / Azure OpenAI / Gemini 等);
- 灵活编排:内置强大的工作流引擎,支持编排 AI 工作过程,满足复杂业务场景下的需求;
- 无缝嵌入:支持零编码快速嵌入到第三方业务系统,让已有系统快速拥有智能问答能力,提高用户满意度。
(1.1 ~ 1.3三种方法三选一即可)
1.1、docker部署 MaxKB(方法一)
1.1.1、启用wls或是开启Hyper
- 允许创建和管理虚拟机,且允许用户在 Windows 上运行原生的 Linux 命令行工具和应用程序,而无需使用虚拟机或双重启动系统。
方案一:安装wls2 并启用 (Windows 10、Windows 11 ) √
# 输入以下命令来启用 WSL:
wsl --install
# 如果已经启用但未安装特定版本,可以使用如下命令启用 WSL 2:
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
# 启用虚拟机平台
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart
# 设置 WSL 2 作为默认版本:
wsl --set-default-version 2
可以通过任务管理器 ‘performance CPU’ 界面查看是否开启
-
使用 WSL 2 的优势
- 更高的性能:与 Hyper-V 相比,WSL 2 提供了更高的文件系统性能。
- 完全的系统调用兼容性:WSL 2 使用真正的 Linux 内核,确保了对 Linux 系统调用的完全兼容。
- 更好的资源利用:WSL 2 更有效地利用主机资源。
方案二:开启Hyper-V (window 7)
1.1.2、安装docker
如果docker不是自启动需要手动修改下
1.1.3、docker部署 MaxKB (Max Knowledge Base)
部署 maxkb
# 我们可以指定本地文件夹挂载,这样可以便于我们维护配置
docker run -d --name=maxkb -p 8080:8080 -v C:\Leojiang\leojiangDocument\AI\maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb
MaxKB 默认登录信息
http://目标服务器 IP 地址:目标端口
用户名:admin
默认密码:MaxKB@123..
1.2、使用1Panel 部署 MaxKB(方法二)
选择使用 1Panel 部署,安装完后在1Panel中搜索MaxKB安装即可,此处不再赘述。
1.3、wsl启用Linux,在Linux中使用docker 部署 MaxKB(方法三,本文选用)√
某些公司电脑禁用docker desktop可以选用此方法
- Docker Desktop从2021年8月31日开始收费。Docker Desktop的转变是为了提供更好的服务和支持,但这也意味着对于那些不符合免费使用条件的用户,需要支付一定的费用。具体来说,Docker Desktop现在被称为Docker Personal,主要免费提供给小型企业、个人、教育机构和非商业开源项目使用。对于商业用户,特别是那些员工超过250人或年收入超过1000万美元的公司,使用Docker Desktop需要进行付费订阅
1.3.1、启用并设置 wls2
# 检查是否WSL运行 distributions
#wsl --list --running
# 检查 WSL 状态:
#wsl --list --verbose
# 输入以下命令来启用 WSL:
#wsl --install
# 查看商店提供了哪些发行版
wsl --list --online
# 启用Windows子系统,可以使用如下命令启用 WSL 2:
dism