在银河麒麟桌面操作系统上离线部署离线DeepSeek 大模型教程

银河麒麟（Kylin OS）是一种国产 Linux 发行版，基于 Debian 或 Ubuntu 的架构，以下是在银河麒麟桌面操作系统上离线安装 Ollama 的详细步骤，适用于无网络环境。所有文件需在联网设备上准备好，并通过 U盘或其他存储设备转移到离线银河麒麟桌面操作系统（假设为 V10）。

前提条件

• 最低配置：8GB RAM（适合小型模型，如 1.5B 参数的 distilled 版本），带 GPU（如 RTX 3060 6GB VRAM）更佳。
• 推荐配置：16GB+ RAM，GPU（如 RTX 3090 或更高，24GB VRAM）以运行 14B 或更大模型。
• 高级配置：运行完整 671B 参数模型需要多 GPU（如 8x 80GB A100）。
• 操作系统：银河麒麟桌面操作系统 V10。
• 准备工作：一台联网设备（任意系统），U盘（建议 32GB+ 容量）。

---

步骤 1：在联网设备上准备文件

1.1 下载 Ollama 二进制包

1. 根据目标系统架构选择合适的包：
   • AMD64（常见 x86_64 架构）：

     curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
     

   • ARM64（如部分国产硬件）：

     curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
     

2. 将下载的 .tgz 文件保存到 U盘（例如 /usb/ollama-linux-amd64.tgz）。

1.2 （可选）下载 GPU 支持包

• NVIDIA GPU（CUDA）：
  • 从 NVIDIA 官网 下载适用于银河麒麟的 .deb 包（若无直接支持，可尝试 Ubuntu 20.04 版本）。
  • 保存到 U盘（例如 /usb/cuda.deb）。
• AMD GPU（ROCm）：
  • 下载 ROCm v6 的离线包（参考 ROCm 文档）。