探秘DeepOps：GPU集群自动化运维的利器

最新推荐文章于 2024-06-21 09:46:25 发布
最新推荐文章于 2024-06-21 09:46:25 发布
阅读量405 收藏 7
点赞数 5
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gitblog_00052/article/details/138893545
版权

探秘DeepOps：GPU集群自动化运维的利器

项目简介

DeepOps是一个专门针对配备NVIDIA GPU的Kubernetes和Slurm集群的基础设施自动化工具集。这个开源项目旨在封装最佳实践，从头到尾管理GPU服务器集群的部署，并可根据特定环境进行自定义配置。无论你是希望在自己的数据中心建立一个端到端的管理系统，还是希望在现有的Kubernetes或Slurm集群中增强功能，DeepOps都是理想的选择。

项目技术分析

DeepOps基于Ansible进行自动化部署，它与两大主流集群资源管理器——Kubernetes（通过Kubespray子模块）和Slurm（通过SchedMD）紧密集成。这一设计使得DeepOps能够适应各种场景，包括但不限于：

  1. Kubernetes: 使用Kubespray实现对容器化应用的自动化部署、扩展和管理，提供跨平台支持。
  2. Slurm: 实现开放源代码的集群资源管理和作业调度，确保高效利用计算资源。

DeepOps还提供了虚拟化部署选项，允许你在单一节点上通过Vagrant构建一个GPU启用的虚拟集群，方便测试和实验。

应用场景

  • 大型数据中心: 对于拥有NVIDIA DGX系统的大型数据中心，DeepOps可以轻松建立和管理整个集群管理栈。
  • 现有Kubernetes集群: 如果你的集群已经运行了Kubernetes，DeepOps可以用来部署KubeFlow并连接NFS存储。
  • 已有集群升级: 需要添加资源管理器或批处理调度器时，DeepOps可安装Slurm或Kubernetes。
  • 单机优化: 单独的机器上，无需调度器，只需安装NVIDIA驱动、Docker和NVIDIA Container Runtime。

项目特点

  1. 灵活性: DeepOps可以根据不同的集群需求进行定制，无论是从头搭建新集群，还是为现有环境增补功能。
  2. 自动化: 凭借强大的Ansible自动化能力，DeepOps大大简化了集群部署和维护过程。
  3. 兼容性: 支持多种操作系统，如Ubuntu、CentOS和NVIDIA DGX OS，兼容多云环境。
  4. 社区支持: 开放源代码，通过GitHub进行协作，用户可以通过提交Issue和Pull Request参与贡献。

最新版本为DeepOps 23.08，建议使用稳定分支以获取可靠的功能。开发活动主要在master分支进行，尽管可能频繁变动，但通常保持功能性。

总的来说，对于任何寻求高效管理GPU集群的人，无论是新手还是经验丰富的系统管理员，DeepOps都是值得信赖的伙伴。现在就开始探索DeepOps，释放你的GPU集群潜力吧！

贾雁冰
关注
  • 5
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
GPU集群管理问题记录
u012746763的专栏
04-24 849
1. GPU卡无任务运行但显存占用情况处理https://devtalk.nvidia.com/default/topic/958159/cuda-programming-and-performance/11-gb-of-gpu-ram-used-and-no-process-listed-by-nvidia-smi/sudo fuser -v /dev/nvidia* 找到占用显存的任务PID...
广工探秘自动化课程选择题题目及答案
05-30
探秘自动化课程选择题题目及答案，题目齐全，利于学习
GPU集群平台使用
weixin_46720482的博客
05-30 1251
一、登录的IP地址、端口 用户名和密码由管理员在每个课题组分配一个。（等老师通知，用户手册后面群发） 二、Conda环境配置和激活 通用包管理，该集群平台有Conda，但是最好在自己的Home目录装Conda（训练好的代码方便打包带走），注意用的时候激活环境。 三、Slurm调度系统 概念：集群、节点、队列（分区）。 机制：作业先交给调度器再分配给服务器计算。 注意： 一块卡一般一个GPU；一般情况下一个人占用一块卡，如果有特殊情况向管理员申请； 所有的GPU只能供几个人同时...
华为专用框架_Volcano 源自于华为云 AI 容器 开源工作dev ops 运维 容器化
weixin_39712611的博客
01-13 320
在实际的docker k8s应用中是否你也存在着以下问题，究竟别人是如何做的。在弹性的计算能力需求场景中，在大并发量集群机器管理中，我们如何有效的利用我们的集群能力。由国内一线云服务器厂商华为云带来的开源大数据分布式集群批处理系统Volcano能不能解决我们面临的机器集群问题?在实际的场景中我们存在一些企业拥有自有服务器机房，显卡集群等等。我们如何让这些计算资源变得高效是一个必须要去思...
推荐：NVIDIA GPU 监控工具 —— 精准管理GPU资源的利器
gitblog_00041的博客
05-15 397
推荐：NVIDIA GPU 监控工具 —— 精准管理GPU资源的利器 项目地址:https://gitcode.com/NVIDIA/gpu-monitoring-tools 在这个GPU在人工智能和高性能计算中发挥关键作用的时代，有效地监控和管理GPU设备变得至关重要。这就是NVIDIA GPU Monitoring Tools的用武之地，这个开源项目提供了Go语言的NVML和DCGM库绑定，以...
GPU集群管理系统
EdiosnMa的博客
12-08 1542
开源项目 microsoft PAI alibaba/GPU-scheduler-for-deep-learning，论文“AntMan: Dynamic Scaling on GPU Clusters for Deep Learning”的实现
使用bright 集群管理器管理和监控GPU集群
cs199503的博客
07-01 562
由创始人和bright计算的建立者Matthijs van leeuwen博士提供 本文是关于brigh集群管理器的，bright集群管理软件解决方案提供了很多监测和管理GPU的功能，特性包括： 1,nvidia c...
推荐一款高效GPU集群管理利器：slurm_gpu_ubuntu
最新发布
gitblog_00002的博客
06-21 325
推荐一款高效GPU集群管理利器：slurm_gpu_ubuntu 项目地址:https://gitcode.com/nateGeorge/slurm_gpu_ubuntu 项目介绍 在深度学习和高性能计算的领域中，有效地管理和调度GPU资源是至关重要的。而slurm_gpu_ubuntu项目就是为了解决这个问题而生。它提供了一套详尽的指南，教你如何在Ubuntu 18.04.3 LTS系统上构建一...
推荐：Genv - GPU 环境与集群管理利器
gitblog_00059的博客
06-10 364
推荐：Genv - GPU 环境与集群管理利器 项目地址:https://gitcode.com/run-ai/genv 1、项目介绍 Genv 是一款专为GPU环境和集群管理设计的开源工具，它旨在简化数据科学家在使用GPU资源时的工作流程。受 pyenv 和其他版本、包和环境管理软件启发，Genv 提供了一种高效的方式来控制、配置和监控GPU资源，无论是单个机器还是多机器集群。 2、项目技术分析...
广东工业大学探秘自动化进阶测试答案
10-29
广东工业大学探秘自动化进阶测试答案
deepops:用于构建GPU集群的工具
04-20
DeepOps GPU基础架构和自动化工具 概述 DeepOps项目封装了部署GPU服务器群集和共享单个功能强大的节点（例如 ）的最佳实践。 DeepOps也可以进行调整或以模块化方式使用，以匹配特定于站点的集群需求。 例如： NVIDIA DGX服务器的本地数据中心，DeepOps在其中提供了端到端功能来设置整个群集管理堆栈 运行Kubernetes的现有集群，其中DeepOps脚本用于部署Kubeflow和连接NFS存储 需要资源管理器/批处理调度程序的现有集群，其中DeepOps用于安装Slurm，Kubernetes或两者的混合 一台不需要调度程序的机器，仅需要NVIDIA驱动程序，Docker和NVIDIA Container Runtime ，了解如何使用DeepOps在单个DGX Station上部署Kubernetes和Kubeflow。 这为大型部署提供了良好的基础
NVIDIA-Turing-Architecture-WhitepaperNVIDIA-图灵架构的白皮书
09-22
TABLE OF CONTENTS Introduction to the NVIDIA Turing Architecture ....................................................................1 NVIDIA Turing Key Features.......................................................................................................... 3 New Streaming Multiprocessor (SM) ....................................................................................... 3 Turing Tensor Cores................................................................................................................. 4 Real-Time Ray Tracing Acceleration ......................................................................................... 4 New Shading Advancements.................................................................................................... 4 Mesh Shading...................................................................................................................... 4 Variable Rate Shading (VRS)................................................................................................ 5 Texture-Space Shading........................................................................................................ 5 Multi-View Rendering (MVR)............................................................................................... 5 Deep Learning Features for Graphics....................................................................................... 5 Deep Learning Features for Inference...................................................................................... 6 GDDR6 High-Performance Memory Subsystem....................................................................... 6 Second-Generation NVIDIA NVLink .......................................................................................... 6 USB-C and VirtualLink............................................................................................................... 6 Turing GPU Architecture In-Depth ........................................................................................7 Turing TU102 GPU........................................................................................................................ 7 Turing Streaming Multiprocessor (SM) Architecture.................................................................. 11 Turing Tensor Cores............................................................................................................... 15 Turing Optimized for Datacenter Applications........................................................................... 16 Turing Memory Architecture and Display Features.................................................................... 20 GDDR6 Memory Subsystem................................................................................................... 20 L2 Cache and ROPs................................................................................................................. 21 Turing Memory Compression................................................................................................. 22 Video and Display Engine ....................................................................................................... 22 USB-C and VirtualLink................................................................................................................. 24 NVLink Improves SLI ................................................................................................................... 24 Turing Ray Tracing Technology............................................................................................26 Turing RT Cores .......................................................................................................................... 31 NVIDIA NGX Technology .....................................................................................................34 NGX Software Architecture ........................................................................................................ 34 Deep Learning Super-Sampling (DLSS) ....................................................................................... 35 InPainting ................................................................................................................................... 38 AI Slow-Mo............................................................................................................................. 39 AI Super Rez........................................................................................................................... 39 NVIDIA Turing GPU Architecture WP-09183-001_v01 | iii Turing Advanced Shading Technologies ..............................................................................40 Mesh Shading............................................................................................................................. 40 Variable Rate Shading................................................................................................................. 43 Content Adaptive Shading...................................................................................................... 45 Motion Adaptive Shading....................................................................................................... 46 Foveated Rendering ............................................................................................................... 47 Texture Space Shading ............................................................................................................... 48 The Mechanics of TSS............................................................................................................. 49 Multi-View Rendering................................................................................................................. 51 Multi-View Rendering Use Cases............................................................................................ 52 Resource Management and Binding Model ............................................................................... 54 Turing Features Enhance Virtual Reality ..............................................................................55 Conclusion ..........................................................................................................................57 Appendix A Turing TU104 GPU ............................................................................................58 Appendix B Turing TU106 GPU ...........................................................................................63 Appendix C RTX-OPS Description ........................................................................................66 The Hybrid Rendering Model ..................................................................................................... 66 RTX-OPS Workload-based Metric Explained............................................................................... 67 Appendix D Ray Tracing Overview .......................................................................................69 Basic Ray Tracing Mechanics...................................................................................................... 70 Bounding Volume Hierarchy .................................................................................................. 71 Denoising Filtering...................................................................................................................... 73 NVIDIA Turing GPU Architecture WP-09183-001_v01 | iv LIST OF FIGURES Figure 1. Turing Reinvents Graphics............................................................................................ 2 Figure 2. Turing TU102 Full GPU with 72 SM Units ..................................................................... 8 Figure 3. NVIDIA Turing TU102 GPU.......................................................................................... 10 Figure 4. Turing TU102/TU104/TU106 Streaming Multiprocessor (SM).................................... 12 Figure 5. Concurrent Execution of Floating Point and Integer Instructions in the Turing SM.... 13 Figure 6. New Shared Memory Architecture............................................................................. 14 Figure 7. Turing Shading Performance Speedup versus Pascal on Many Different Workloads. 14 Figure 8. New Turing Tensor Cores Provide Multi-Precision for AI Inference............................ 16 Figure 9. Tesla T4 delivers up to 40X Higher Inference Performance........................................ 17 Figure 10. Tesla T4 Delivers More than 50X the Energy Efficiency of CPU-based Inferencing .... 18 Figure 11. Turing GDDR6 ............................................................................................................. 21 Figure 12. 50% Higher Effective Bandwidth ................................................................................ 22 Figure 13. Video Feature Enhancements..................................................................................... 23 Figure 14. NVLink Enables New SLI Display Topologies............................................................... 25 Figure 15. SOL MAN from NVIDIA SOL Ray Tracing Demo (See Demo) ....................................... 27 Figure 16. Hybrid Rendering Pipeline .......................................................................................... 28 Figure 17. Details of Ray Tracing and Rasterization Pipeline Stages............................................ 29 Figure 18. From Reflections Demo .............................................................................................. 30 Figure 19. Ray Tracing Pre Turing ................................................................................................ 32 Figure 20. Turing Ray Tracing with RT Cores................................................................................ 32 Figure 21. Turing Ray Tracing Performance................................................................................. 33 Figure 22. Turing with 4K DLSS is Twice the Performance of Pascal with 4K TAA....................... 35 Figure 23. DLSS 2X versus 64xSS image almost Indistinguishable................................................ 36 Figure 24. DLSS 2X Provides Significantly Better Temporal Stability and Image Clarity Than TAA ......................................................................................................... 37 Figure 25. NGX InPainting Examples, Missing Image Data Is Intelligently Replaced with Meaningful Image Information................................................................................... 38 Figure 26. AI Super Rez Provides Improved Image Clarity Over Other Filtering Methods.......... 39 Figure 27. Mesh Shading, Visually Rich Images ........................................................................... 40 Figure 28. Current Graphics Pipeline versus a Graphics Pipeline with Task and Mesh Shaders.. 41 Figure 29. Screenshot from the Asteroid Field Demo.................................................................. 42 Figure 30. An Asteroid at Low and High Levels of Detail (LOD) ................................................... 42 Figure 31. Dynamically Computed, Spherical Cutaway of a Koenigsegg Model, Viewed in NVIDIA Holodeck™..................................................................................... 43 Figure 32. Turing VRS Supported Shading Rates and Example Application to a Game Frame..... 44 Figure 33. Example of Content Adaptive Shading........................................................................ 46 NVIDIA Turing GPU Architecture WP-09183-001_v01 | v Figure 34. Perceived Blur Due to Object Motion Combined with Retinal and Display Persistence ..................................................................................................... 47 Figure 35. Traditional Rasterization and Shading Process........................................................... 49 Figure 36. Texture Space Shading Process................................................................................... 50 Figure 37. Texture Space Shading for Stereo............................................................................... 51 Figure 38. 200° FOV HMD Where Two Canted Panels are Used and Benefit from MVR............. 53 Figure 39Figure 37 MVR Single Pass Cascaded Shadow Map Rendering .................................... 54 Figure 40. Turing Features for VR................................................................................................ 56 Figure 41. Turing TU104 Full Chip Diagram ................................................................................. 59 Figure 42. Turing TU106 Full Chip Diagram ................................................................................. 64 Figure 43. Workload Distribution Over One Turing Frame Time ................................................. 66 Figure 44. Peak Operations of Each Type Base for GTX 2080 Ti .................................................. 68 Figure 45. Basic Ray Tracing Process ........................................................................................... 70 Figure 46. Abstraction of Tree Traversal and a Ray Intersecting Different Levels of Bounding Boxes.......................................................................................................... 72 Figure 47. Shadow Map Percentage Closer Filtering (PCF) versus Ray Tracing with Denoising... 74 Figure 48. Shadow Mapping Compared to Ray Traced Shadows that use 1 Sample Per Pixel and Denoising............................................................................................... 74 Figure 49. Screen-Space Ambient Occlusion Compared to Ray-Traced Ambient Occlusion........ 75 Figure 50. RTX Ray Tracing........................................................................................................... 76 Figure 51. Scene from Battlefield V with RTX On and Off............................................................ 77 Figure 52. Scene #2 from Battlefield V with RTX On and Off....................................................... 78 Figure 53. Shadow of the Tomb Raider with RTX ON .................................................................. 79 NVIDIA Turing GPU Architecture WP-09183-001_v01 | vi LIST OF TABLES Table 1. Comparison of NVIDIA Pascal GP102 and Turing TU102 .................................... 8 Table 2. Enhanced Video Engine, Tesla P4 versus Tesla T4............................................ 19 Table 3. DisplayPort Support in Turing GPUs .................................................................. 23 Table 4. Comparison of NVIDIA Pascal GP104 and Turing TU104 GPUs........................ 60 Table 5. Comparison of the Pascal Tesla P4 and the Turing Tesla T4 ........................... 61 Table 6. Comparison of NVIDIA Pascal GP104 to Turing TU106 GPUs........................... 64
携程第四代架构探秘之运维基础架构升级
02-25
2014年底携程技术中心的框架、系统和运维团队共同启动了架构改造项目，历时2年，涉及所有业务线。本文回顾了携程在整个技术架构改造过程中的一些实践和收获。随着携程业务量迅速增长、业务变化越来越敏捷，对于应用...
亚马逊工作方法探秘：创新利器 2 Pizza Team.docx
04-26
亚马逊工作方法探秘：创新利器 2 Pizza Team.docx
DeepOps的工具小笔记-PyCharm的快捷键
OPS ON THE GO
01-17 110
pycharm官方说明链接 https://www.jetbrains.com/help/pycharm/quick-start-guide.html 快捷键介绍 https://www.jetbrains.com/help/pycharm/configuring-keyboard-and-mouse-shortcuts.html
DeepOps的算法小笔记-欧几里德算法
OPS ON THE GO
07-04 202
引用网址 https://www.cnblogs.com/jason2003/p/9797750.html 这个说的挺易懂，如下是原文，留个笔记 我们把证明分为两步骤： 　　　　1、证明gcd(a,b)是b,a%b的一个公约数 　　　　2、证明这个公约数是最大的。 　　　　 1、我们设gcd(a,b)=d，再令a=k1*d,b=k2*d. 我们再设，a=k*b+c（也就是a除以b商k余c），那么c就是余数，也就是a%b. 讲上面那个式子移项，得到c=a-k*b，然后再把a=k1*d,.
【干货】快速部署微软开源GPU管理利器: OpenPAI
weixin_33841503的博客
07-16 409
【干货】快速部署微软开源GPU管理利器: OpenPAI 介绍 不管是机器学习的老手，还是入门的新人，都应该装备上尽可能强大的算力。除此之外，还要压榨出硬件的所有潜力来加快模型训练。OpenPAI作为GPU管理的利器，不管是一块GPU，还是上千块GPU，都能够做好调度，帮助加速机器学习的模型训练过程。 关于什么是OpenPAI，请参考介绍视频：微软开源GPU集群管理利器。 本文提供了简化的Open...
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 381
AI菜鸟向前飞 — LLM简介
藏经阁-DataOps with Project Amaterasu.pdf
09-01
藏经阁-DataOps with Project Amaterasu.pdf

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贾雁冰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值