gpu相关知识

必须在同一台服务器上么？

不一定必须在同一台服务器上。

你可以在多台服务器上实现 GPU 虚拟化和池化，只要这些服务器都加入到同一个 Kubernetes 集群中，并且每台服务器都安装了必要的 GPU 驱动程序、CUDA 工具包、NVIDIA GPU Operator 和 Kubernetes Device Plugin。

在多台服务器上实现 GPU 虚拟化和池化的方案

1.	配置多个 GPU 节点

每台物理服务器（节点）上安装必要的 NVIDIA 驱动、CUDA 工具包和 NVIDIA GPU Operator，这样每个节点就可以支持 GPU 加速工作负载。
2. 在每个服务器节点上启用 MIG 模式（如适用）
如果你使用支持 MIG 的 NVIDIA GPU（如 A100 系列），在每个节点上启用 MIG 模式并配置适当的 MIG 实例，按照上面提到的步骤逐步操作。
3. 加入 Kubernetes 集群
确保所有服务器节点都加入到同一个 Kubernetes 集群中。这样 Kubernetes 就能将多个 GPU 节点作为一个资源池来管理和调度。
4. 使用 NVIDIA Device Plugin 管理 GPU 资源
使用 NVIDIA Device Plugin 使 Kubernetes 能够识别每个节点上的 GPU 资源，并根据工作负载需求分配这些资源。配置 Device Plugin 时，可以为每个节点配置不同的 MIG 策略。
5. 跨节点部署 Pod
在多节点环境下，Kubernetes 调度程序会根据 GPU 资源的可用性，将工作负载（Pod）调度到具有足够资源的节点上。如果一个节点的 GPU 资源用完了，Kubernetes 会自动尝试将新的 Pod 调度到其他具有空闲 GPU 资源的节点。
6. 共享 GPU 资源池
通过这种方式，多个节点上的 GPU 实际上形成了一个共享的资源池。不同的 Pod 可以分布在不同的节点上，各自使用 MIG 实例或整个 GPU 来运行工作负载，达到充分利用多台服务器 GPU 资源的目的。

注意事项

•	网络带宽：在多节点环境下，Pod 间的通信和 GPU 的数据传输依赖于节点间的网络带宽。因此，确保节点间有足够的网络带宽是重要的，特别是 GPU 密集型的工作负载。
•	节点标签和亲和性：为了确保工作负载调度到正确的节点，可以使用 Kubernetes 的节点标签和 Pod 亲和性/反亲和性策略，进一步优化调度决策。
•	集群管理：多个 GPU 节点的管理和监控比单节点环境复杂，因此需要使用合适的监控工具（如 Prometheus + Grafana）来实时监控集群和 GPU 的状态。
•	GPU 负载均衡：确保工作负载能够均匀分布在多个 GPU 上，可以通过自定义调度器策略或 Pod 亲和性规则来实现。

因此，GPU 虚拟化和池化不一定要求在同一台服务器上。你可以在 Kubernetes 集群中部署多个 GPU 节点，形成一个大的 GPU 资源池，从而实现更灵活和高效的资源调度和利用。

现在是两台服务器，各一张卡
在两台服务器上分别有一张 GPU 卡的情况下，可以使用 Kubernetes 集群将这两台服务器上的 GPU 资源虚拟化和池化，这样你可以充分利用两张 GPU 卡为不同的工作负载服务。

以下是如何在这种环境下配置和部署 GPU 虚拟化和池化的步骤：

环境准备

1.	确保两台服务器已加入同一个 Kubernetes 集群

这两台服务器（节点）必须已加入同一个 Kubernetes 集群，成为集群中的节点（worker node）。确保每台服务器上都安装了 Kubernetes 和 Docker 或 Containerd 运行时。
2. 在每台服务器上安装 NVIDIA 驱动和 CUDA 工具包
为了使 Kubernetes 能够管理 GPU，必须在每台服务器上安装 NVIDIA 驱动和 CUDA 工具包。安装步骤如下：

sudo apt