题图摄于北京北三环
注:微信公众号不按照时间排序,请关注公众号“亨利笔记”,并加星标以置顶,以免错过更新。
(本文作者系VMware中国研发云原生实验室架构师,负责云原生、机器学习等方面的创新项目。)
GPU 的虚拟化解决方案通常存在一些不足:
GPU计算力未得到充分利用
无法较好的隔离GPU资源或无法动态的调整资源隔离粒度
只能使用本地的GPU资源
应用程序调度困难
Bitfusion 是 vSphere 的一个强大功能,通过网络提供远程 GPU 池来解决以上这些问题。Bitfusion 使得 GPU 可以像计算资源一样被抽象、分区、自动化和共享。
另一方面,Kubernetes 已经成为事实上的部署和管理机器学习工作负载的平台,但 Kubernetes 没有提供一种原生方式来使用 Bitfusion 的远程 GPU 池。这一限制成为 Kubernetes 上的作业使用 Bitfusion GPU 的关键挑战。Kubernetes 需要一种友好的方式来使用 Bitfusion GPU 资源:
支持资源管理
支持GPU池管理
我们开发了一个 Bitfusion 的 device plugin,并且开源了相关代码。该项目通过在 Kubernetes 使用 Bitfusion 的方式来实现 GPU 共享能力。
开源代码地址:https://github.com/vmware/bitfusion-with-kubernetes-integration
1.架构
我们通过以下两个组件来实现允许 Kubernetes 使用 Bitfusion 的目的。
1. bitfusion-device-plugin
2. bitfusion-webhook
组件1和组件2分别内置在独立的 Docker 镜像中。 bitfusion-device-plugin 作为DaemonSet 运行在kubelet所在的每个工作节点上。 bitfusion-webhook 作为Deployment 运行在Kubernetes主节点上。
2. 前置条件
安装机器的操作系统为 Ubuntu Linux
OpenSSL需要安装在 Ubuntu上
Kubernetes 1.17+
Bitfusion 2.5+
可以正常使用 kubectl 和 docker 命令
如果需要启用配额功能,需要更新以下的yaml文件。
修改 bitfusion-injector.yaml 文件。
vim bitfusion-with-kubernetes-integration/bitfusion_device_plugin/webhook/deployment/bitfusion-injector.yaml
为TOTAL_GPU_MEMORY 设置合适的值,TOTAL_GPU_MEMORY 代表 Bitfusion Server 所管理的 GPU 物理设备的显存大小,单位是MB。
apiVersion: apps/v1
...
env:
- name: TOTAL_GPU_MEMORY
value: 16000
...
2.1 获取Bitfusion的token文件
为了启用Bitfusion,用户必须生成一个用于授权的Bitfusion Token,并将相关的tar文件下载到安装机器上。按照以下步骤从vCenter获取Token:
Step 1. 登录 vCenter
Step 2. 在插件部分点击Bitfusion
Step 3. 选择Tokens 标签,然后选择要下载的适当的token
Step 4. 点击 DOWNLOAD 按钮, 在此之前需要确保token是可用的
如果列表中没有可用的 token, 需要点击 NEW TOKEN 来创建 Token. 更多详情,
请参阅: https://docs.vmware.com/en/VMware-vSphere-Bitfusion/2.5/Install-Guide/GUID-361A9C59-BB22-4BF0-9B05-8E80DE70BE5B.html
2.2 使用Bitfusion Baremetal token 创建 Kubernetes secret
将 Bitfusion Baremetal Token 文件上传到安装机器。使用以下命令解压缩文件:
$ mkdir tokens
$ tar -xvf ./2BgkZdN.tar -C tokens
现在我们得到了三个文件在目录 tokens/ 中,分别是: ca.crt, client.yaml 和 services.conf :
tokens
├── ca.crt
├── client.yaml
└── servers.conf
然后使用以下命令在Kubernetes中的kube-system 命名空间中创建一个secret :
$ kubectl create secret generic bitfusion-secret --from-file=tokens -n kube-system
更多关于kubectl 信息,请参阅: https://kubernetes.io/docs/reference/kubectl/overview/
3.快速开始
这里有两种部署的方式,可以选择其中任意一种:
使用已经构建好的容器镜像部署
使用代码构建容器镜像,并用生成的镜像部署
3.1 部署方式1: 使用已经构建好的容器镜像部署 (推荐)
使用以下命令克隆源代码:
$ git clone https://github.com/vmware/bitfusion-with-kubernetes-integration.git
使用以下命令部署 Bitfusion device plugin 和其他相关组件,需要确保Kubernetes 集群可以连接到 Internet。
$ cd bitfusion-with-kubernetes-integration-main/bitfusion_device_plugin
$ make deploy
3.2 部署方式2: 使用代码构建容器镜像,并用生成的镜像部署
用户可以选择从源代码构建容器镜像 ,而不是使用预先构建的容器镜像。在镜像构建完成后,它们也可以被推送到镜像仓库 (Docker Hub或本地的镜像仓库)。
使用以下命令克隆源代码:
$ git clone https://github.com/vmware/bitfusion-with-kubernetes-integration.git
在开始构建过程之前,需要修改Makefile中一些变量的值:
$ cd bit