【10分钟本地部署大语言模型】借助1Panel、MaxKb、Ollama快速部署大语言模型（qwen、llama等）及知识库

前言：

本文介绍一种快速在Linux服务器（windows使用wsl也可以）上部署大语言模型（含知识库）的方式。
核心内容如下：

• 1Panel： 开源的Linux 服务器运维管理面板，通过该面板安装ollama和MaxKB
• ollama：开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型
• MaxKB：基于大语言模型和 RAG 的开源知识库加粗样式问答系统，此组件也可用于页面的方式加载ollama
  整个安装操作极其简单丝滑，网络流畅的情况下，十分钟即可完成，下面简要介绍具体操作：

一、安装1Panel

注意：安装过程中会显示账号密码，这个要保存下来
参考该文档即可，约3分钟
https://1panel.cn/docs/installation/package_installation/

二、安装ollama、maxkb

2.1 安装

登录1Pannel，比如我的地址是：http://127.0.0.1:42640/
点击应用商店，并搜索安装ollama、maxkb
注意：

• 这个时候，你可能会遇到网络连接问题，只需要配置镜像加速即可，配置内容为https://docker.1panel.live，如下下图：
• 安装的时候，注意端口不要冲突
  
  
  至此，完成ollama、maxkb的安装（maxkb默认的账号密码 admin/MaxKB@123..）
  

2.2 验证

可分别点击服务端口，进行访问。其中，ollama访问的界面如下：
第一次需要配置服务器地址：

在这里配置ip即可

三、ollama加载大模型

3.1 进入ollama容器

进入服务器，查看docker进程，docker ps

3.2 加载大模型

进入ollama容器，并下载（加载）大模型docker exec -it 0abdc5ce45ae /bin/bash
进入ollama官网，搜索你所需要的大模型，比如这里我用到了qwen2.5 3B参数的模型，复制ollama run qwen2.5:3b命令，并在容器中运行即可。

出现success即可，便可以在终端进行对话：

四、MaxKB集成ollama的大模型

4.1 添加模型

登录MaxKB，系统管理 - 模型设置 - 添加模型

按照如下填写：

• 基础模型：要和你的容器中ollama的名字相同，可通过ollama list查看
• 
• 域名：是你的ollama的域名
• API Key：随便填写即可，我写的12345

4.2 创建应用

选择ai模型，保存即可

4.3 演示效果

在应用界面，点击该按钮，就能出险熟悉的对话框了

五、知识库的创建与集成

可参考：https://maxkb.cn/docs/quick_start/

5.1 创建知识库

5.2 关联知识库

在已创建的应用中关联知识库即可。

---

参考资料：
https://1panel.cn/docs/
https://maxkb.cn/docs/