gpu-manager安装及测试

已于 2023-08-31 15:33:22 修改
阅读量1.4k 收藏
点赞数
文章标签： java 开发语言 gpu算力
于 2023-08-10 18:08:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46519031/article/details/132212258
版权

提示：GPU-manager 安装为主部分内容做了升级开箱即用，有用请点收藏❤抱拳

文章目录

前言

本文只做开箱即用部分，想了解GPUManager虚拟化方案技术层面请直接点击：GPUmanager虚拟化方案

一、约束条件

1、虚拟机需要完成直通式绑定，也就是物理GPU与虚拟机绑定，我做的是hyper-v的虚拟机绑定参照上一篇文章
2、对于k8s要求1.10版本以上
3、GPU-Manager 要求集群内包含 GPU 机型节点
4、每张 GPU 卡一共有100个单位的资源，仅支持0 - 1的小数卡，以及1的倍数的整数卡设置。显存资源是以256MiB为最小的一个单位的分配显存
我的版本：k8s-1.20

二、使用步骤

1.下载镜像

镜像地址：https://hub.docker.com/r/tkestack/gpu-manager/tags
manager：docker pull tkestack/gpu-manager:v1.1.5
https://hub.docker.com/r/tkestack/gpu-quota-admission/tags
admission：docker pull tkestack/gpu-quota-admission:v1.0.0

1.1 查看当前虚拟机的驱动类型：

docker info

在这里插入图片描述

2.部署gpu-manager

拥有GPU节点打标签：

kubectl label node XX nvidia-device-enable=enable

如果docker驱动是systemd 需要在yaml指定，因为GPUmanager默认cgroupfs
在这里插入图片描述
创建yaml内容如下：

apiVersion: v1
kind: ServiceAccount
metadata:
  name: gpu-manager
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: gpu-manager-role
subjects:
  - kind: ServiceAccount
    name: gpu-manager
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: gpu-manager-daemonset
  namespace: kube-system
spec:
  updateStrategy:
    type: RollingUpdate
  selector:
    matchLabels:
      name: gpu-manager-ds
  template:
    metadata:
      # This annotation is deprecated. Kept here for backward compatibility
      # See https://kubernetes.io/docs/tasks/administer-cluster/guaranteed-scheduling-critical-addon-pods/
      annotations:
        scheduler.alpha.kubernetes.io/critical-pod: ""
      labels:
        name: gpu-manager-ds
    spec:
      serviceAccount: gpu-manager
      tolerations:
        # This toleration is deprecated. Kept here for backward compatibility
        # See https://kubernetes.io/docs/tasks/administer-cluster/guaranteed-scheduling-critical-addon-pods/
        - key: CriticalAddonsOnly
          operator: Exists
        - key: tencent.com/vcuda-core
          operator: Exists
          effect: NoSchedule
      # Mark this pod as a critical add-on; when enabled, the critical add-on
      # scheduler reserves resources for critical add-on pods so that they can
      # be rescheduled after a failure.
      # See https://kubernetes.io/docs/tasks/administer-cluster/guaranteed-scheduling-critical-addon-pods/
      priorityClassName: "system-node-critical"
      # only run node has gpu device
      nodeSelector:
        nvidia-device-enable: enable
      hostPID: true
      containers:
        - image: tkestack/gpu-manager:v1.1.5
          imagePullPolicy: IfNotPresent
          name: gpu-manager
          securityContext:
            privileged: true
          ports:
            - containerPort: 5678
          volumeMounts:
            - name: device-plugin
              mountPath: /var/lib/kubelet/device-plugins
            - name: vdriver
              mountPath: /etc/gpu-manager/vdriver
            - name: vmdata
              mountPath: /etc/gpu-manager/vm
            - name: log
              mountPath: /var/log/gpu-manager
            - name: checkpoint
              mountPath: /etc/gpu-manager/checkpoint
            - name: run-dir
              mountPath: /var/run
            - name: cgroup
              mountPath: /sys/fs/cgroup
              readOnly: true
            - name: usr-directory
              mountPath: /usr/local/host
              readOnly: true
            - name: kube-root
              mountPath: /root/.kube
              readOnly: true
          env:
            - name: LOG_LEVEL
              value: "4"
            - name: EXTRA_FLAGS
              value: "--cgroup-driver=systemd"
            - name: NODE_NAME
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
      volumes:
        - name: device-plugin
          hostPath:
            type: Directory
            path: /var/lib/kubelet/device-plugins
        - name: vmdata
          hostPath:
            type: DirectoryOrCreate
            path: /etc/gpu-manager/vm
        - name: vdriver
          hostPath:
            type: DirectoryOrCreate
            path: /etc/gpu-manager/vdriver
        - name: log
          hostPath:
            type: DirectoryOrCreate
            path: /etc/gpu-manager/log
        - name: checkpoint
          hostPath:
            type: DirectoryOrCreate
            path: /etc/gpu-manager/checkpoint
        # We have to mount the whole /var/run directory into container, because of bind mount docker.sock
        # inode change after host docker is restarted
        - name: run-dir
          hostPath:
            type: Directory
            path: /var/run
        - name: cgroup
          hostPath:
            type: Directory
            path: /sys/fs/cgroup
        # We have to mount /usr directory instead of specified library path, because of non-existing
        # problem for different distro
        - name: usr-directory
          hostPath:
            type: Directory
            path: /usr
        - name: kube-root
          hostPath:
            type: Directory
            path: /root/.kube

执行yaml文件：

kubectl apply -f gpu-manager.yaml
kubectl get pod -A|grep  gpu 查询结果

3.部署gpu-admission

创建yaml内容如下：

apiVersion: v1
kind: ServiceAccount
metadata:
  name: gpu-admission
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: gpu-admission-as-kube-scheduler
subjects:
  - kind: ServiceAccount
    name: gpu-admission
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: system:kube-scheduler
  apiGroup: rbac.authorization.k8s.io
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: gpu-admission-as-volume-scheduler
subjects:
  - kind: ServiceAccount
    name: gpu-admission
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: system:volume-scheduler
  apiGroup: rbac.authorization.k8s.io
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: gpu-admission-as-daemon-set-controller
subjects:
  - kind: ServiceAccount
    name: gpu-admission
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: system:controller:daemon-set-controller
  apiGroup: rbac.authorization.k8s.io
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    component: scheduler
    tier: control-plane
    app: gpu-admission
  name: gpu-admission
  namespace: kube-system
spec:
  selector:
    matchLabels:
      component: scheduler
      tier: control-plane
  replicas: 1
  template:
    metadata:
      labels:
        component: scheduler
        tier: control-plane
        version: second
    spec:
      serviceAccountName: gpu-admission
      containers:
        - image: thomassong/gpu-admission:47d56ae9
          name: gpu-admission
          env:
            - name: LOG_LEVEL
              value: "4"
          ports:
            - containerPort: 3456
      dnsPolicy: ClusterFirstWithHostNet
      hostNetwork: true
      priority: 2000000000
      priorityClassName: system-cluster-critical
---
apiVersion: v1
kind: Service
metadata:
  name: gpu-admission
  namespace: kube-system
spec:
  ports:
    - port: 3456
      protocol: TCP
      targetPort: 3456
  selector:
    app: gpu-admission
  type: ClusterIP

执行yaml文件：

kubectl create -f gpu-admission.yaml
kubectl get pod -A|grep  gpu 查询结果

4.修改kube-scheduler.yaml在这里插入图片描述

4.1 新建/etc/kubernetes/scheduler-policy-config.json

创建内容：

vim /etc/kubernetes/scheduler-policy-config.json
复制如下内容：
{
    "kind": "Policy",
    "apiVersion": "v1",
    "predicates": [
        {
            "name": "PodFitsHostPorts"
        },
        {
            "name": "PodFitsResources"
        },
        {
            "name": "NoDiskConflict"
        },
        {
            "name": "MatchNodeSelector"
        },
        {
            "name": "HostName"
        }
    ],
    "priorities": [
        {
            "name": "BalancedResourceAllocation",
            "weight": 1
        },
        {
            "name": "ServiceSpreadingPriority",
            "weight": 1
        }
    ],
    "extenders": [
        {
            "urlPrefix": "http://gpu-admission.kube-system:3456/scheduler",
            "apiVersion": "v1beta1",
            "filterVerb": "predicates",
            "enableHttps": false,
            "nodeCacheCapable": false
        }
    ],
    "hardPodAffinitySymmetricWeight": 10,
    "alwaysCheckAllPredicates": false
}

4.2 新建/etc/kubernetes/scheduler-extender.yaml

创建内容：

vim /etc/kubernetes/scheduler-extender.yaml
复制如下内容：
apiVersion: kubescheduler.config.k8s.io/v1alpha1
kind: KubeSchedulerConfiguration
clientConnection:
  kubeconfig: "/etc/kubernetes/scheduler.conf"
algorithmSource:
  policy:
    file:
      path: "/etc/kubernetes/scheduler-policy-config.json"

4.3 修改/etc/kubernetes/manifests/kube-scheduler.yaml

修改内容：

vim /etc/kubernetes/manifests/kube-scheduler.yaml
复制如下内容：
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    component: kube-scheduler
    tier: control-plane
  name: kube-scheduler
  namespace: kube-system
spec:
  containers:
    - command:
        - kube-scheduler
        - --authentication-kubeconfig=/etc/kubernetes/scheduler.conf
        - --authorization-kubeconfig=/etc/kubernetes/scheduler.conf
        - --bind-address=0.0.0.0
        - --feature-gates=TTLAfterFinished=true,ExpandCSIVolumes=true,CSIStorageCapacity=true,RotateKubeletServerCertificate=true
        - --kubeconfig=/etc/kubernetes/scheduler.conf
        - --leader-elect=true
        - --port=0
        - --config=/etc/kubernetes/scheduler-extender.yaml
      image: registry.cn-beijing.aliyuncs.com/kubesphereio/kube-scheduler:v1.22.10
      imagePullPolicy: IfNotPresent
      livenessProbe:
        failureThreshold: 8
        httpGet:
          path: /healthz
          port: 10259
          scheme: HTTPS
        initialDelaySeconds: 10
        periodSeconds: 10
        timeoutSeconds: 15
      name: kube-scheduler
      resources:
        requests:
          cpu: 100m
      startupProbe:
        failureThreshold: 24
        httpGet:
          path: /healthz
          port: 10259
          scheme: HTTPS
        initialDelaySeconds: 10
        periodSeconds: 10
        timeoutSeconds: 15
      volumeMounts:
        - mountPath: /etc/kubernetes/scheduler.conf
          name: kubeconfig
          readOnly: true
        - mountPath: /etc/localtime
          name: localtime
          readOnly: true
        - mountPath: /etc/kubernetes/scheduler-extender.yaml
          name: extender
          readOnly: true
        - mountPath: /etc/kubernetes/scheduler-policy-config.json
          name: extender-policy
          readOnly: true
  hostNetwork: true
  priorityClassName: system-node-critical
  securityContext:
    seccompProfile:
      type: RuntimeDefault
  volumes:
    - hostPath:
        path: /etc/kubernetes/scheduler.conf
        type: FileOrCreate
      name: kubeconfig
    - hostPath:
        path: /etc/localtime
        type: File
      name: localtime
    - hostPath:
        path: /etc/kubernetes/scheduler-extender.yaml
        type: FileOrCreate
      name: extender
    - hostPath:
        path: /etc/kubernetes/scheduler-policy-config.json
        type: FileOrCreate
      name: extender-policy
status: {}

修改内容入下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
修改完成k8s自动重启，如果没有重启执行 kubectl delete pod -n [podname]

4.1 结果查看

执行命令：

 kubectl describe node master[节点名称]

在这里插入图片描述

测试

镜像下载：docker pull gaozhenhai/tensorflow-gputest:0.2
创建yaml内容: vim vcuda-test.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    k8s-app: vcuda-test
    qcloud-app: vcuda-test
  name: vcuda-test
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      k8s-app: vcuda-test
  template:
    metadata:
      labels:
        k8s-app: vcuda-test
        qcloud-app: vcuda-test
    spec:
      containers:
        - command:
            - sleep
            - 360000s
          env:
            - name: PATH
              value: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
          image: gaozhenhai/tensorflow-gputest:0.2
          imagePullPolicy: IfNotPresent
          name: tensorflow-test
          resources:
            limits:
              cpu: "4"
              memory: 8Gi
              tencent.com/vcuda-core: "50"
              tencent.com/vcuda-memory: "32"
            requests:
              cpu: "4"
              memory: 8Gi
              tencent.com/vcuda-core: "50"
              tencent.com/vcuda-memory: "32"

启动yaml：kubectl apply -f vcuda-test.yaml
进入容器：

kubectl exec -it `kubectl get pods -o name | cut -d '/' -f2` -- bash

执行测试命令：

cd /data/tensorflow/cifar10 && time python cifar10_train.py

查看结果：

执行命令：nvidia-smi pmon -s u -d 1、命令查看GPU资源使用情况

总结

到此vgpu容器层虚拟化全部完成

GJQ-JAVA
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
腾讯vCUDA（gpu-manager）部署
o0haidee0o的博客
08-05 4654
官网：https://github.com/tkestack/gpu-manager 先夸赞一下腾讯的开源精神，再吐槽一下，官方README写的真是过于随意了。踩了一堆坑，终于部署并测试成功了。下面尽可能详细的记录一下全流程。 这次用的k8s集群是用kubeadm搭建的，在部署gpu-admission自定义scheduler的时候也有些不同，后面会详细介绍。 0、配置go环境 0.1 go安装 参考：https://www.runoob.com/go/go-environment.html 0
GPU Manager用于管理Kubernetes集群中的nvidia GPU设备-Golang开发
05-26
GPU Manager用于管理Kubernetes集群中的nvidia GPU设备。 它实现了Kubernetes的DevicePlugin接口。 因此它与1.9+的Kubernetes发行版兼容。 GPU管理器GPU管理器用于管理Kubernetes集群中的nvidia GPU设备。 它实现了Kubernetes的DevicePlugin接口。 因此它与1.9+的Kubernetes发行版兼容。 为了与nvidia-docker和nvidia-k8s-plugin的组合解决方案进行比较，GPU管理器将使用未经修改的本机runc，而nvidia解决方案则进行了修改。 此外，我们还支持指标报告，而无需部署新组件。 要正确安排GPU有效负载，GPU管理器应
K8S下的GPU监控
最新发布
Richardlygo的博客
05-10 125
在前面给大家介绍了，在显卡的实际应用中，监控是不可缺少的一环。通过监控，我们能更直观的了解到显卡的使用情况和各项监控指标。英伟达提供了DCGM (NVIDIA Data Center GPU Manager) 工具用于管理和监控集群环境中的N卡。在K8S环境下，DCGM已经集成到dcgm-exporter中。dcgm-exporter可以将显卡相关监控指标以http接口的方式暴露给Prometheus。
datacenter-gpu-manager_1.7.2_amd64.deb
06-05
NVIDIA Data Center GPU Manager (DCGM) 监控 GPU 服务 运行状况 使用的命令为 dcgmi 。
腾讯gpu-manager
qq_26572567的博客
10-16 1380
腾讯gpu-manager
datacenter-gpu-manager_1.4.2_amd64.deb
01-07
dcgm 1.4.2 DOWNLOAD DCGM 1.4.2 (May 2018) DEB Packages (x86_64)
k8s中GPU虚拟化工具gpu-manager的安装
紫空的博客
07-20 5892
k8s中GPU虚拟化工具gpu-manager的安装
Single-GPU-Passthrough
05-01
Linux上的单GPU直通本指南旨在帮助人们在只有一个GPU的系统上通过libvirt / virt-manager使用GPU Passthrough的过程。特别感谢：有关托管有关VFIO传递的新闻和信息，以及本指南中的libvirt / qemu挂钩帮助器。安德烈...
alza-gpu-scraper：基于Selenium的网络刮板购买2020年圣诞节的gpu
02-16
《基于Selenium的GPU网络刮板：alza-gpu-scraper在2020圣诞购物季的应用》 在数字化时代，网络购物已经成为人们日常生活的一部分，特别是在抢购热门商品如GPU时，速度和效率至关重要。2020年的圣诞节购物季，一款名...
Ubuntu16.04上安装CUDA9.0 详细教程
09-14
安装CUDA 9.0时，有两种方法：package manager安装和runfile安装。在本教程中，推荐使用runfile安装，因为它相对更稳定。首先，从NVIDIA官网下载CUDA 9.0的.run文件，注意校验MD5值以确认文件完整性。运行该文件开始...
DCGM:NVIDIA数据中心GPU管理器（DCGM）是一个项目，用于收集遥测和测量NVIDIA GPU的运行状况
05-23
安装程序包包括库，二进制文件，NVIDIA Validation Suite（NVVS）和使用API​​的源示例（C，Python和Go）。 DCGM通过允许用户使用收集GPU遥测技术，已集成到Kubernetes生态系统中。 有关更多信息，
datacenter-gpu-manager_2.1.4_amd64.deb
03-31
prometheus GPU监控组件 dcgm 2.1.4
GPU测试程序
03-01
使用cuda编写的GPU测试程序，只有exe，程序想要的留言
vcuda-controller
05-24
vcuda-controller 该项目是NVIDIA驱动程序库的包装，它是的一个组件，它使Kubernetes不仅可以在同一GPU上运行多个Pod，而且还可以为每个Pod提供QoS。 有关更多详细信息，请参考我们的论文。 建造 IMAGE_FILE=<your> ./build-img.sh
android-26 sdk下载
10-31
2. **Android Studio集成**：Android Studio是Google推荐的官方集成开发环境，它内置了Android SDK Manager，用于下载和管理SDK的各种组件，如平台工具、构建工具、系统图像等。 3. **构建工具**：SDK包含的构建...
GPU虚拟化理解包含直通，k8s安装，GPU-manager
weixin_46519031的博客
08-10 693
vgpu虚拟化容器层面实现流程与步骤
GPU Management Platform
长夜大雨
06-14 1564
GPU-XXX-Project for Cryptography这个项目的背景是这样，写一个小小的GPU计算调度系统，它要求管理和调度机房里的N台GPU计算服务器，以实现大规模的并行计算处理。主要的计算内容是密码学方面的计算（密钥穷举什么的估计也能用得上）。如下图所示的结构，系统中分为三个部分: 计算节点，管理节点和调度节点。  计算节点每个计算节点上拥有一个到多个GPU，可以实现并行计算逻辑
VGPU理解与实践包含虚拟机显卡直通，k8s安装，GPU-manager使用与实践测试
weixin_46519031的博客
08-10 1892
vgpu虚拟化理解与实践
tkestack/gpu-manager在k8s1.23版本之后的使用
JosephThatwho的博客
04-26 1215
在1.25版本的k8s集群中部署gpu-manage时，虽然显示gpu节点上gpu-manage的pod实例都是running状态，但是给pod申领。既可以用源码的Makefile自动编译打包成新的镜像，但是源码的。说明gpu-manager和容器运行时接口通信失败了。编译后的镜像在1.25版本的k8s中可以正常使用。，但是在k8s1.23版本之后，接口路径已经改为。资源时，却始终找不到有资源的节点。，另外有一些依赖需要国际上的支持。可以看到这里用的运行时接口是。查看节点的详情时，返回的。
datacenter-gpu-manager rpm
12-22
datacenter-gpu-manager是一个针对数据中心的GPU管理工具的rpm包。该软件包提供了一个便捷的方式来管理数据中心中的图形处理单元（GPU），可以帮助管理员轻松地监控和优化数据中心中的GPU资源。 该软件包包含了一系列的工具和脚本，可以帮助管理员轻松地管理数据中心中的GPU资源。管理员可以使用这些工具来监控GPU的使用情况、调整GPU的性能和功耗配置，以及实现GPU资源的动态分配和再分配。 此外，datacenter-gpu-manager还提供了对GPU虚拟化的支持，可以帮助管理员更好地利用数据中心中的GPU资源，提高数据中心的整体性能和效率。管理员可以使用这些工具来创建、管理和监控GPU虚拟化实例，实现对GPU资源的更精细化的管理和分配。 总之，datacenter-gpu-manager是一个功能强大的软件包，可以帮助数据中心的管理员更好地管理和优化GPU资源，提高数据中心的整体性能和效率。使用这个rpm包，管理员可以更轻松地实现对GPU资源的监控、调整和虚拟化，实现更好的资源利用和管理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值