使用Bitfusion在K8s上共享GPU资源

题图摄于北京北三环

注：微信公众号不按照时间排序，请关注公众号“亨利笔记”，并加星标以置顶，以免错过更新。

（本文作者系VMware中国研发云原生实验室架构师，负责云原生、机器学习等方面的创新项目。）

GPU 的虚拟化解决方案通常存在一些不足:

• GPU计算力未得到充分利用
  

• 无法较好的隔离GPU资源或无法动态的调整资源隔离粒度
  

• 只能使用本地的GPU资源
  

• 应用程序调度困难
  

Bitfusion 是 vSphere 的一个强大功能，通过网络提供远程 GPU 池来解决以上这些问题。Bitfusion 使得 GPU 可以像计算资源一样被抽象、分区、自动化和共享。

另一方面，Kubernetes 已经成为事实上的部署和管理机器学习工作负载的平台，但 Kubernetes 没有提供一种原生方式来使用 Bitfusion 的远程 GPU 池。这一限制成为 Kubernetes 上的作业使用 Bitfusion GPU 的关键挑战。Kubernetes 需要一种友好的方式来使用 Bitfusion GPU 资源:

• 支持资源管理
  

• 支持GPU池管理
  

我们开发了一个 Bitfusion 的 device plugin，并且开源了相关代码。该项目通过在 Kubernetes 使用 Bitfusion 的方式来实现 GPU 共享能力。

开源代码地址：https://github.com/vmware/bitfusion-with-kubernetes-integration

1.架构

我们通过以下两个组件来实现允许 Kubernetes 使用 Bitfusion 的目的。

• 1. bitfusion-device-plugin
  

• 2. bitfusion-webhook
  

组件1和组件2分别内置在独立的 Docker 镜像中。 bitfusion-device-plugin 作为DaemonSet 运行在kubelet所在的每个工作节点上。 bitfusion-webhook 作为Deployment 运行在Kubernetes主节点上。

2. 前置条件

• 安装机器的操作系统为 Ubuntu Linux

• OpenSSL需要安装在 Ubuntu上

• Kubernetes 1.17+

• Bitfusion 2.5+

• 可以正常使用 kubectl 和 docker 命令

如果需要启用配额功能，需要更新以下的yaml文件。

• 修改 bitfusion-injector.yaml 文件。

vim bitfusion-with-kubernetes-integration/bitfusion_device_plugin/webhook/deployment/bitfusion-injector.yaml

为TOTAL_GPU_MEMORY 设置合适的值，TOTAL_GPU_MEMORY 代表 Bitfusion Server 所管理的 GPU 物理设备的显存大小，单位是MB。

apiVersion: apps/v1
...
          env:
            - name: TOTAL_GPU_MEMORY
              value: 16000
...

2.1 获取Bitfusion的token文件

为了启用Bitfusion，用户必须生成一个用于授权的Bitfusion Token，并将相关的tar文件下载到安装机器上。按照以下步骤从vCenter获取Token:

Step 1. 登录 vCenter
Step 2. 在插件部分点击Bitfusion

Step 3. 选择Tokens 标签，然后选择要下载的适当的token

Step 4. 点击 DOWNLOAD 按钮, 在此之前需要确保token是可用的

如果列表中没有可用的 token, 需要点击 NEW TOKEN 来创建 Token. 更多详情，

请参阅: https://docs.vmware.com/en/VMware-vSphere-Bitfusion/2.5/Install-Guide/GUID-361A9C59-BB22-4BF0-9B05-8E80DE70BE5B.html

2.2 使用Bitfusion Baremetal token 创建 Kubernetes secret

将 Bitfusion Baremetal Token 文件上传到安装机器。使用以下命令解压缩文件:

$ mkdir tokens   
$ tar -xvf ./2BgkZdN.tar -C tokens

现在我们得到了三个文件在目录 tokens/ 中，分别是: ca.crt, client.yaml 和 services.conf :

tokens
├── ca.crt
├── client.yaml
└── servers.conf

然后使用以下命令在Kubernetes中的kube-system 命名空间中创建一个secret :

$ kubectl create secret generic bitfusion-secret --from-file=tokens -n kube-system

更多关于kubectl 信息，请参阅： https://kubernetes.io/docs/reference/kubectl/overview/

3.快速开始

这里有两种部署的方式，可以选择其中任意一种:

• 使用已经构建好的容器镜像部署

• 使用代码构建容器镜像，并用生成的镜像部署

3.1 部署方式1: 使用已经构建好的容器镜像部署 (推荐)

使用以下命令克隆源代码:

$ git clone https://github.com/vmware/bitfusion-with-kubernetes-integration.git

使用以下命令部署 Bitfusion device plugin 和其他相关组件，需要确保Kubernetes 集群可以连接到 Internet。

$ cd bitfusion-with-kubernetes-integration-main/bitfusion_device_plugin
$ make deploy

3.2 部署方式2: 使用代码构建容器镜像，并用生成的镜像部署

用户可以选择从源代码构建容器镜像 ，而不是使用预先构建的容器镜像。在镜像构建完成后，它们也可以被推送到镜像仓库 (Docker Hub或本地的镜像仓库)。

使用以下命令克隆源代码:

$ git clone https://github.com/vmware/bitfusion-with-kubernetes-integration.git

在开始构建过程之前，需要修改Makefile中一些变量的值:

$ cd bit