【AI-本地部署大模型】Centos虚拟机部署MaxKB、Ollama【基于大语言模型的知识库问答系统】

Ollama

• Ollama 是一个开源项目，旨在让用户能够在本地计算机上轻松运行大型语言模型（LLM）。通过 Ollama，用户可以部署和运行多种不同的语言模型，如 Llama 3.1、Phi 3、Mistral、Gemma 2 等，并且可以根据需要定制和创建自己的模型。
• 官网：https://ollama.com/
• 开源地址：https://github.com/ollama/ollama

特点

• 支持多种模型：Ollama 支持多种大型语言模型，这使得用户可以根据需求选择最合适的模型来运行。
• 定制化选项：用户不仅能够运行现有的模型，还可以对其进行定制，以适应特定的应用场景或数据集。
• 跨平台兼容性：Ollama 可以在 macOS、Linux 和 Windows 上运行（Windows 版本目前处于预览阶段）。
• 易于安装和使用：Ollama 提供了简便的安装流程，让用户能够快速开始使用。
• Web 用户界面：除了命令行工具外，Ollama 还提供了一个 web 用户界面，便于管理和交互。
• 数据隐私：由于模型是在本地运行，所以用户的对话和数据不会发送到云端，从而保护了隐私。
• API 接口：Ollama 提供了类似于 OpenAI 的 API 接口，方便开发者集成到自己的应用程序中。

Centos部署

docker部署

• 镜像地址：https://hub.docker.com/r/ollama/ollama
• 镜像拉取：docker pull ollama/ollama
• docker安装命令：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

• 能访问表示成功，注意机器防火墙端口、云服务器开通端口等
  

脚本安装

curl -fsSL https://ollama.com/install.sh | sh

通义千问包下载

• 访问地址：https://ollama.com/

• 搜索你想部署的大模型包，这里以通义千问为例
  

• 进行包下载：ollama run qwen
  

MaxKB

• Max Knowledge Base，是一款基于 LLM 大语言模型的开源知识库问答系统，旨在成为企业的最强大脑。
• 官网：https://maxkb.cn/
• 开源地址：https://github.com/1Panel-dev/MaxKB

部署

docker部署

• 执行命令部署：

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb

• 进行拉取
  
  

控制台

• 账户名明码参考官网
  https://maxkb.cn/docs/installation/online_installtion/

http://目标服务器 IP 地址:目标端口
默认登录信息
用户名：admin
默认密码：MaxKB@123…

配置

模型设置

• 选择模型供应商