NVIDIA NIM 开发者指南：入门

NVIDIA NIM 开发者指南：入门

NVIDIA 开发者计划

想要了解有关 NIM 的更多信息？加入 NVIDIA 开发者计划，即可免费访问任何基础设施云、数据中心或个人工作站上最多 16 个 GPU 上的自托管 NVIDIA NIM 和微服务。

加入免费的 NVIDIA 开发者计划后，您可以随时通过 NVIDIA API 目录访问 NIM。要获得企业级安全性、支持和 API 稳定性，请选择通过我们的免费 90 天 NVIDIA AI Enterprise 试用版使用企业电子邮件地址访问 NIM 的选项。

预先条件

设置

• NVIDIA AI Enterprise 许可证：NVIDIA NIM for LLM 可在 NVIDIA AI Enterprise 许可证下自行托管。注册 NVIDIA AI Enterprise 许可证。

• NVIDIA GPU：NVIDIA NIM for LLM（NIM for LLM）可在任何具有足够 GPU 内存的 NVIDIA GPU 上运行，但某些模型/GPU 组合经过了优化。还支持启用张量并行的同构多 GPU 系统。有关更多信息，请参阅支持矩阵。

• CPU：此版本仅适用于 x86_64 架构

• 操作系统：任何 Linux 发行版：

  • 受 NVIDIA Container 工具包支持

  • glibc >= 2.35（参见 ld -v 的输出）

• CUDA 驱动程序：按照安装指南操作。我们建议：

  • 使用网络存储库作为包管理器安装的一部分，跳过 CUDA 工具包安装，因为库在 NIM 容器中可用，然后

  • 安装特定版本的开放内核：

Major Version	EOL	Data Center & RTX/Quadro GPUs	GeForce GPUs
> 550	TBD	X	X
550	Feb. 2025	X	X
545	Oct. 2023	X	X
535	June 2026	X
525	Nov. 2023	X
470	Sept. 2024	X

1. 安装 Docker

2. 安装 NVIDIA Container Toolkit

注意

安装工具包后，请按照 NVIDIA Container Toolkit 文档中“配置 Docker”部分中的说明进行操作。

为确保您的设置正确，请运行以下命令（有关使用 --gpus all 的说明，请参阅“GPU 选择”部分）：

docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

此命令应产生类似于以下内容之一的输出，您可以在其中确认 CUDA 驱动程序版本和可用的 GPU。

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.14              Driver Version: 550.54.14      CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA H100 80GB HBM3          On  |   00000000:1B:00.0 Off |                    0 |
| N/A   36C    P0            112W /  700W |   78489MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

安装适用于 Windows 的 WSL2

某些可下载的 NIM 可在带有适用于 Linux 的 Windows 系统 (WSL) 的 RTX Windows 系统上使用。要启用 WSL2，请执行以下步骤