docker离线部署ollama

一、docker操作ollama容器命令

1.ollama运行

docker run -d -p 11434:11434 -v /data/ollama:/root/.ollama --name ollama ollama/ollama

2.容器已存在，启动ollama容器

docker start ollama

3.退出

#从容器中退出
exit
#或者采用  
Ctrl+D 

4.进入运行中的ollama容器

docker exec -it ollama /bin/bash

二、ollama操作命令

1.拉取并运行模型，并进入交互式对话

ollama run deepseek-r1:7b

2.拉取模型

ollama pull bge-m3

3.查看运行中的模型

ollama ps

4.查看已安装模型

ollama list

5.查看模型详情

ollama show bge-m3

三、ollama镜像迁移到本地服务器

1.停止运行宿主机中的ollama容器

docker stop ollama

2.导出容器镜像

#1.将容器保存为容器
docker commit ollama ollama_back:latest
#2.导出镜像文件
docker save ollama_back:latest > ollama_backup.tar
#上述操作完成后，在当前路径下新增一个镜像文件ollama_backup.tar

3.查看Docker数据卷挂载，找到模型文件路径

 docker inspect ollama | grep "Source"

4.打包模型文件

#/data/ollama 是宿主机中ollama容器存放模型文件的目录，即上一步查询出来的目录
tar -czvf ollama_models.tar.gz /data/ollama

5.迁移镜像和模型两个文件至离线服务器

文件1：ollama_backup.tar

文件2：ollama_models.tar.gz

四.容器的挂载卷说明

1.查询所有本地容器卷

docker volume ls

五、本地服务器的导入

1.加载镜像并启动容器

#加载镜像
docker load -i ollama_backup.tar
#启动容器
docker run -d --name ollama -p 11434:11434 -v /data/ollama:/root/.ollama ollama_back:latest

2.验证容器状态

docker ps -a
#测试API连通性
curl http://localhost:11434/api/tags

3.加载离线模型文件

#解压模型文件
tar -xzvf ollama_models.tar.gz
#将文件夹里面的blobs和manifests两个文件夹里面的文件复制到对用的挂在目录里面去

4.刷新模型列表

#验证是否部署成功
docker exec ollama  ollama list

六、将模型迁移到离线的ollama中

1.现在联网服务器拉取模型文件

ollama pull nomic-embed:latest