最简单的本地化大模型部署教程

要实现本地化部署的AI大模型，支持离线访问，下面是详细的操作步骤：
环境准备
硬件要求
高性能的GPU（如NVIDIA A100, V100等）
至少64GB RAM
大容量高速存储（至少1TB SSD）
高速互联网连接（用于初始设置和更新）
软件要求
操作系统：Linux（推荐Ubuntu 24.04或以上）
Docker和Docker Compose
Ollama
步骤1：安装必要的软件
1、安装Docker和Docker Compose

#系统自带的docker版本太旧，我们先卸载，以下是卸载命令：
sudo apt-get remove docker docker-engine docker.io containerd runc
#更新软件包
sudo apt update #更新Ubuntu软件包列表
sudo apt upgrade #更新已安装软件的版本
#安装docker依赖
sudo apt-get install ca-certificates curl gnupg lsb-release
#添加Docker官方GPG密钥
sudo curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
#添加Docker软件源
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
#安装docker
sudo apt install docker-ce docker-ce-cli containerd.io docker-compose
#安装docker常用工具
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
#重启docker
sudo service docker restart
#验证docker是否安装成功
sudo docker run hello-world
#查看docker版本
sudo docker version
#查看docker安装的测试镜像
sudo docker images

2、安装Ollama
主要在Linux系统下的安装命令：

curl -fsSL https://ollama.com/install.sh | sh #这个为Linux系统中的安装命令

3、安装模型
下载llama3模型

ollama run llama3

还可以下载其他模型，可以到ollama官网去下载，具体下载命令官网有。
比如下载deepseek-v2模型

ollama run deepseek-v2

具体的llama3命令说明可以到ollama官网查看。
4、配置ollama网络服务
为了让外网环境能够访问到服务，需要对HOST进行配置。

sudo vim /etc/systemd/system/ollama.service

打开ollama.service文件后，按i进入插入模式，在ExecStart=/usr/local/bin/ollama serve上面插入：Environment=”OLLAMA_HOST=0.0.0.0:11434″ ，然后按ESC再输入:wq回车保存，然后重启ollama.service文件。
使用以下命令

sudo systemctl restart ollama.service

5、启动服务
启动服务的命令

ollama serve

首次启动可能会出现以下两个提示：

Couldn’t find ‘/home/用户名/.ollama/id_ed25519’. Generating new private key.

该提示表示文件系统中不存在ssh私钥文件，此时命令将自动帮我们生成该文件，并在命令行中打印相应的公钥。

Error: listen tcp 127.0.0.1:11434: bind: address already in use

看到该提示，大概率服务已在运行中，可以通过netstat -tulpn | grep 11434命令进行确认。

若命令输出的最后一列包含ollama字样，则表示服务已启动，无需做额外处理。
否则，可尝试执行下列命令重启ollama：

# ubuntu/debian
sudo apt update
sudo apt install lsof
sudo systemctl stop ollama
lsof -i :11434
kill <PID>
ollama serve
# centos
sudo yum update
sudo yum install lsof
stop ollama
lsof -i :11434
kill <PID>
ollama serve

6、在外网环境验证连接

方法一：执行curl http://ip:11434命令，若返回“Ollama is running”，则表示连接正常。

方法二：在浏览器访问http://ip:11434，若页面显示文本“Ollama is running”，则表示连接正常。
步骤2 部署Open WebUI
open-webui是在Docker里面部署的，所以我们需要先部署Docker，之前已经部署过，这里就不在赘述了。
安装open-webui直接输入：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main 

然后输入sudo docker images 命令，检查一下当前的容器，然后再输入我们要启动的容器命令：

docker run -d ghcr.nju.edu.cn/open-webui/open-webui 

然后在系统中将open-webui的端口3000开启，直接用浏览器访问http://IP:3000即可成功访问，注意：这里的IP是服务器的IP。
页面加载完成后，新注册一个账号并登录。
登录之后，点击页面右侧顶端的齿轮图标进入设置：
侧边导航栏-General，将语言设置为中文；
侧边导航栏-连接，若“Ollama 基础 URL”这一项为http://host.docker.internal:11434，则表示ollama服务正常且连接成功；如果是空的，则需要检查一下ollama服务了。
侧边导航栏-模型，一般会自动拉取ollama服务上部署好的模型。
在顶端下拉框选择好模型，就可以开始提问了。