离线部署Ollama

💡 本文会带给你

1. 怎样在内网中离线部署Ollama的方法
2. 如何离线加载模型
3. 内网上不了Internet，依据实践整理了离线部署Ollama的方法。

一. 离线部署Ollama(文件复制方式)

1. 离线安装Ollama

下载安装文件（在线环境下）：

Linux/macOS：访问 Ollama GitHub Releases 下载对应系统的二进制文件（如 ollama-linux-amd64 或 ollama-darwin）。

Windows：下载 Windows 安装程序（如 .exe 文件）。

传输文件到离线机器：通过U盘、内网共享等方式将安装文件复制到目标机器。

手动安装：

Linux/macOS：

#赋予执行权限并安装
chmod +x ollama-linux-amd64
sudo mv ollama-linux-amd64 /usr/bin/ollama
Windows：直接运行安装程序（需管理员权限）。

2. 离线加载模型

在线环境下下载模型：

#例如下载llama2模型（需联网）
ollama pull llama2
复制模型文件：

模型默认存储在以下路径：

Linux/macOS：~/.ollama/models

Windows：C:\Users\<用户名>\.ollama\models

将整个 models 目录复制到离线机器的相同路径下。

离线运行模型：

bash
ollama run llama2  # 直接使用已下载的模型

3. 依赖项处理

系统依赖：

GPU支持：若需GPU加速，离线机器需提前安装CUDA、ROCm等驱动（如NVIDIA显卡需CUDA 11+&