kubernetes调度GPU-nvidia

最新推荐文章于 2024-07-10 10:58:46 发布
最新推荐文章于 2024-07-10 10:58:46 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： AI-gpu调度 文章标签： AI kubernetes gpu nvidia 调度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28962511/article/details/83028763
版权
本文详细介绍了如何在Kubernetes（k8s）集群中启用并调度NVIDIA GPU支持。首先，确保安装了支持GPU的Docker和NVIDIA驱动。接着，通过部署NVIDIA设备插件Daemonset来配置k8s使用GPU。最后，利用label选择器调度GPU pod到具有NVIDIA GPU的节点上。
摘要由CSDN通过智能技术生成

一、前置条件
安装docker对GPU的支持。CSDN这个排版真不舒服。。

	Ubuntu16.04
    NVIDIA驱动程序 >= 361.93
	Docker建议版本为docker-ce17.03.02
	nvidia-docker version>2.0
	docker配置了nvidia作为默认运行时。
	Kubernetes版本= 1.11

二、安装方法
NVIDIA驱动程序
首先官网下载英伟达的linux显卡驱动，下载地址为

http://cn.download.nvidia.com/XFree86/Linux-x86_64/390.77/NVIDIA-Linux-x86_64-390.77.run

下载后直接使用root安装

chmod +x NVIDIA-Linux-x86_64-390.77.run
./NVIDIA-Linux-x86_64-390.77.run

按照出现的界面进行默认的选择安装即可
Docker
Docker安装的话直接下载docker的ce-17.03.02的版本，下载地址为

https://download.docker.com/linux/ubuntu/dists/xenial/pool/stable/amd64/docker-ce_17.03.3~ce-0~ubuntu-xenial_amd64.deb

下载后直接安装

dpkg -i docker-ce_17.03.3~ce-0~ubuntu-xenial_amd64.deb

启动docker及设置开机启动

systemctl start d
最低0.47元/天 解锁文章
过往纤尘
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kubernetes调度gpu
莫大逗比嘟嘟
03-24 4444
# kubectl exec -it <容器名> /bin/bash# mnist测试结果一、环境介绍：阿里云新购4台vps（新加坡区），其中一台带GPU显卡二、GPU驱动安装  wget http://cn.download.nvidia.com/tesla/384.66/nvidia-diag-driver-local-repo-ubuntu1604-384.66_1.0-1_am...
K8S调用GPU资源配置指南(原創)
weixin_43897452的博客
11-14 866
在GPU節點安裝NVIDIA驅動和docker，以及nvidia-container-toolkit （docker 19版本之後安裝nvidia-container-toolkit，無需安裝nvidia-docker）如有正常打印出GPU信息，說明正常。修改docker runtime。使用以下官方測試方式。
K8s GPU 资源管理探索：在 KubeSphere 上部署 AI 大模型 Ollama
最新发布
KubeSphere
07-10 1578
作者：运维有术星主随着人工智能、机器学习、AI 大模型技术的迅猛发展，我们对计算资源的需求也在不断攀升。特别是对于需要处理大规模数据和复杂算法的 AI 大模型，GPU 资源的使用变得至关重要。对于运维工程师而言，掌握如何在 Kubernetes 集群上管理和配置 GPU 资源，以及如何高效部署依赖这些资源的应用，已成为一项不可或缺的技能。今天，我将带领大家深入了解如何在 KubeSphere 平台上，利用 Kubernetes 强大的生态和工具，实现 GPU 资源的管理和应用部署。
Kubernetes平台调度GPU资源
Kason_iWiki
10-20 1444
文章目录1. 使用设备插件2. 部署 AMD GPU 设备插件3. 部署 NVIDIA GPU 设备插件4. 总结 Kubernetes 支持对节点上的 AMD 和 NVIDIA 的 GPU 进行管理。 用户如何在不同的 Kubernetes 版本中使用 GPU，以及当前存在的一些限制。 在 K8S 上调度 GPU 资源 1. 使用设备插件 参考官方文档 - 调度 GPUs 资源 Kubernetes 实现了 Device Plugins 以允许 Pod 访问类似 GPU 这类特殊的硬件功能
K8s集群gpu支持（直通和vgpu）
qq_42152032的博客
06-22 4800
1-1v1.8之前的老版本:基于nvidia-docker实现(基本不用了,了解) 前期准备：1、nvidia driver 2、cuda 3、nvidia-docker K8s 启动pod时指定参数，即可使用gpu （1）alpha.kubernetes.io/nvidia-gpu 指定调用nvidia gpu的数量 （2）为了能让GPU容器运行起来，需要将Nvidia驱动和CUDA库文件指定到容器中。这里需要使用hostPath，您只需要将hostPath指定到/var/lib/nvidia-do
【博客506】k8s扩展调度器以支撑更灵活的GPU调度
qq_43684922的博客
09-25 3019
现如今，随着企业纷纷在机器学习和深度学习上加大投入，他们开始发现从头构建一个 AI 系统并非易事。以深度学习为例。对于深度学习来说，算力是一切的根本。为了用海量数据训练性能更好的模型、加速整个流程，企业的 IT 系统需要具备快速、高效调用管理大规模 GPU 资源的能力。同时，由于算力资源十分昂贵，出于成本控制，企业也需要通过分布式训练等方式最大化 GPU 资源利用率。面对这类新要求，基于 Kubernetes 的云原生技术为人工智能提供了一种新的工作模式。
Kubernetes集群的GPU共享调度程序-Golang开发
05-26
Kubernetes中的GPU共享调度程序扩展器概述越来越多的数据科学家在Kubernetes上运行基于Nvidia GPU的推理任务。 其中一些任务可以在同一Nvidia GPU设备上运行，以增加Kubernetes中的GPU Sharing Scheduler Extender。...
GPU Manager用于管理Kubernetes集群中的nvidia GPU设备-Golang开发
05-26
为了与nvidia-docker和nvidia-k8s-plugin的组合解决方案进行比较，GPU管理器将使用未经修改的本机runc，而nvidia解决方案则进行了修改。 此外，我们还支持指标报告，而无需部署新组件。 要正确安排GPU有效负载，GPU...
Go-Kubernetes集群的GPU共享调度程序
08-14
3. **GPU共享**：传统的Kubernetes调度器可能无法充分考虑GPU的共享特性。某些工作负载可能只需要部分GPU资源，而GPU共享调度程序允许多个任务共享一个物理GPU，减少了资源浪费。 4. **自定义调度器扩展**：为了...
42 _ Kubernetes默认调度器调度策略解析1
08-04
例如，Pod可以通过`alpha.kubernetes.io/nvidia-gpu: 2`声明需要2个NVIDIA GPU。调度器仅根据Value值进行计算，而忽视Key的具体含义。在Node的Capacity字段中，需对应地声明GPU总量，如`alpha.kubernetes.io/nvidia-...
nvidia-docker2-rpm.tar.gz
11-07
【nvidia-docker2-rpm.tar.gz】是一个针对CentOS 7操作系统的RPM...此外，对于大规模的GPU集群，可能还需要考虑使用NVIDIA的其他工具，如NVIDIA Container Toolkit和NVIDIA Kubernetes，以实现更高级的管理和调度功能。
GPU多任务调度
12-08
1、在cpu端使用多线程利用系统中的多gpu(如果系统中有n个gpu，可以指定任意个gpu参与计算)执行多个任务(可以是任意个)，可以自由设定任务数量和任务队列大小。2、在同一个gpu上以不同的顺序执行多个任务(每个任务可能有多个kernel函数)，并且统计不同的顺序序列，每个任务执行的时间和每个任务所有kernel执行时间；同时也可以每次执行一个任务序列。3、和2中的类似，主要实现单gpu上所有任务的kernel不同的执行序列对执行时间的影响。 以上实现的程序，主要用来考察不同的执行顺序(包括任务级和核函数级的各种不同顺序)对gpu功耗的影响，程序中部分参数怎么改、怎么添加任务，可以给我留言。
在 Kubernetes 上调用 GPU
weixin_38320674的博客
04-05 1743
▲点击上方"DevOps和k8s全栈技术"关注公众号Kubernetes (k8s) 是一种流行的容器编排系统，它可以轻松地管理和调度大规模容器化应用程序。对于需要使用图形处理单元（GPU）的应用程序来说，Kubernetes 可以帮助我们更好地利用 GPU 资源，并实现更高效的计算。本文将介绍如何在 Kubernetes 上调用 GPU，以及如何优化 GPU 资源的使用。什么是 GPU？GPU...
K8S调用GPU资源配置指南
热门推荐
不当初
06-10 1万+
 该文档用于描述使用Kubernetes调用GPU资源的配置过程。文档会较为详细的描述在配置过程中遇到的问题和解决方式，并且会详细描述每个步骤的验证结果，该文档对于Kubernetes的使用以及GPU资源的理解有一定的辅助意义。在行文时主要描述了TensorFlow框架调用GPU、也有Pytorch调用GPU支持的过程，文档适用于运维人员、开发人员。 配置过程的主要目标是实现通过yaml文件实现对于底层GPU资源的调度。为达到此目的，需要实现如下的目标： Docker 使用容器创建虚拟环境，以便将 Tens
Kubernetes容器平台下的 GPU 集群算力管控
alauda_andy的博客
03-28 1729
这种结合将充分发挥每块显卡的算力，并通过 Kubernetes 的弹性伸缩特性，实现对 GPU 算力的灵活调度和管理，为大规模 AI 模型的训练和推理提供了可靠的基础支持。在单个进程的任务处理，对GPU利用率不高的情况下是非常有用的。GPU 虚拟化，除了 GPU 厂商能够在硬件和驱动层面对各种资源进行划分进而形成隔离的虚拟化方案之外，其他主流方案本质上都是对 CUDA 调用的劫持与管控，这里包括阿里的 cGPU、百度的 qGPU、火山引擎的 mGPU 和灵雀云的 vGPU 方案等。
k8s环境部署gpu以及CUDA兼容性分析
李姓门徒
05-02 1604
CUDA本质上就是NVIDIA专为通用高性能并行计算设计的一套计算平台和编程模型，换句话使用GPU并行编程的规范方法，所以CUDA在软件层面包含了众多库， 那这里我们用一张图来简单阐述CUDA的各类运行时以及库的关系
K8s调度Nvidia Gpu显卡
RSQ博客
01-10 2011
Kubernetes使用NVIDIA驱动
使用K8s调度Nvidia GPU
荒芜之地
11-13 3818
在Kubernetes配置与集群监控的搭建 和Docker常用命令 中，我们介绍了如何安装Docker以及Kubernetes。对于集群而言，本文将更进一步地介绍如何使用Docker+K8s进行集群的GPU管理。 安装Nvidia驱动 Nvidia的驱动可以在官网下载。注意自己的系统内核以及显卡型号。安装完成后，在命令行使用nvidia-smi命令来查看显卡列表以及相关信息。如果成功安装，将会看到如下的结果。 ~$ nvidia-smi Sat Nov 13 22:21:26 2021 +--
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值