GPU的算力超分和显存扩容探索

于 2021-08-23 10:42:37 发布
阅读量1.6k 收藏 2
点赞数 1
文章标签： gpu ai
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49711991/article/details/119863931
版权

目录

云计算的资源超分超配

CPU的超分

内存的超分

存储的超配

GPU资源的超分超配探索

算力的超分

显存的扩容

云计算的资源超分超配

计算、存储、网络是云计算的基石，也是最宝贵的资源，如何进一步提高这些虚拟化之后资源的利用率就成为了控制成本的关键。物理资源的超分能带来一些资源充分利用方面的好处，比如在一台性能强大的硬件服务器正作为虚拟客户机运行着不同业务类型的服务，但是它们并非在同一时刻都会负载很高，有的业务服务器在白天工作时间负载较重，而有的业务服务器则主要在晚上工作，所以如果对物理资源进行合理的超分超配，给这几个业务服务器分配的系统资源总数大于实际拥有的物理资源，就可能在白天和夜晚都充分利用物理硬件资源。而且由于几个业务不会同时对物理资源造成很大的压力，它们各自的服务质量(QoS)也能得到保障，所以我们可以通过对资源的超分超配进一步提升它们的价值。

CPU的超分

在说CPU超分之前，我们先搞清楚物理CPU和vCPU的关系。一般一台2U物理服务器上通常配置2个物理CPU（Socket），每个CPU有多个核（core）；在开启超线程Hyper-Threading技术之后，每个core有2个线程（Thread）；在虚拟化环境中一个Thread对应一个vCPU。目前主流的云计算系统底层虚拟化都是基于KVM来实现的，在开源虚拟化KVM中每一个VM就是一个用户空间的QEMU进程，分配给虚拟机的vCPU就是该进程派生的一个线程Thread，由Linux内核动态调度到基于时分复用的物理CPU上运行，KVM本身可以支持vCPU超分（over-commit）&#x

最低0.47元/天 解锁文章
virtaitech
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
教程系列3 | 趋动云『社区项目』一键极速部署 PhotoMaker，解锁 AI 绘画奇妙之旅
07-19 836
趋动云『社区项目』“一键克隆”功能，无需繁琐准备，即刻部署 PhotoMaker ，解锁 AI 绘画奇妙之旅！
博客
教程系列2 | 趋动云『社区项目』一步实现与 AI 对话
07-12 835
上周，我们沉浸于文生图【】的奇幻世界，领略了文字转化为视觉的无限乐趣。本周我们继续与 AI 进行对话，探索智能交互的无限魅力！
博客
教程系列1 | 趋动云『社区项目』极速部署 SD WebUI
07-08 990
在上周，趋动云新推出的『社区项目』功能，以“一键克隆”的极致便捷与“省时省力”的高效体验，赢得了广大用户的关注。随后，启动趋动云『社区项目』教程系列，旨在从零开始，全方位、手把手地引领您深入探索并玩转这些项目。无论是技术小白还是资深开发者，都能在这系列教程中轻松上手，亲自体验一键克隆的畅快与高效，共同开启技术探索的新篇章！
博客
趋动云“项目社区”重磅上线，一键克隆极速体验，七大节省效率翻倍
07-01 973
程序员们，你是否曾因以下问题而苦恼不已？面对复杂的模型加载流程，感到无从下手？苦苦寻找缺失的代码文件，却不知它们应该身处何处？GPU 显存 OOM（内存溢出）让你焦头烂额，不知该选择哪种实例规格？想象一下，当你的领导突然指向一个新开源模型，要求你半天内测试出其性能时，你是否会感到压力山大？担心操作系统版本、CUDA、Python、cuDNN等环境配置问题，担心依赖包版本冲突，甚至担心某些操作不支持half精度导致运行报错。现在，趋动云的项目社区将为你解决这些烦恼！
博客
手把手教程 | 云端部署语音合成神器——ChatTTS
06-20 390
近期，ChatTTS 凭借其高度仿真的 AI 语音合成技术迅速走红！ChatTTS 是专为对话场景设计的文本转语音模型，例如 LLM 助手对话任务，支持中英文两种语言。其最大的模型在超过 10 万小时的中英文数据上进行训练，确保了高质量的语音输出。从宣传视频中可以发现，合成语音自动添加了“嗯……”“然后”等语气词，以及适时的笑声，展现了丰富的韵律和情感，几乎无法分辨真假。本文将手把手指导大家如何在趋动云平台部署这款开源的语音合成神器——ChatTTS，并进行实际测试，体验其强大的功能。
博客
超分辨率开源库 GitHub 热门项目分享
06-17 688
超分辨率(Super-Resolution)就是将低分辨率(low resolution)的图像通过算法提升到高分辨率(high resolution)的过程。超分辨率技术在多个领域有广泛应用，包括但不限于以下几个方面：医疗成像：在医学影像中，超分辨率技术可以帮助提高图像质量，使医生能够更清晰地观察和诊断疾病。安全监控：在安防监控系统中，超分辨率技术可以提高监控视频的分辨率，从而更有效地识别和跟踪目标。数字娱乐：超分辨率技术提高图像视频的清晰度，例如修复一些古老的影视资料。......
博客
姿态估计开源模型、数据集分享
06-12 916
姿态估计是一种计算机视觉技术，旨在从图像或视频中识别和理解人体的姿势或动作。它涉及检测人体的关键点，如头部、肩膀、手臂、腿部等，并确定它们之间的关系，以推断出人体的姿势或动作。姿态估计因其在各个领域的广泛应用而引起了研究人员的兴趣。如：体育训练分析：可以利用精确的人体姿态追踪，评估运动员的动作准确度，帮助教练进行个性化指导。人机交互：姿态估计使计算机能够解读和响应人类手势，从而实现人与机器之间更直观、更自然的交互。虚拟现实与游戏：利用姿势估计技术，实现更加真实的互动体验。
博客
虚拟试衣技术发展综述：从应用到开源资源
06-03 750
虚拟试衣是通过虚拟的技术手段，实现用户不用脱去身上衣服，完成变装的效果。最初，起源于换装游戏，随着互联网的普及和电子商务的兴起，消费者对在线购物体验的需求不断增加，虚拟试衣技术因此得到了快速发展。现如今，虚拟试衣技术多应用于：电子商务：为用户提供在线试穿服务，提升购物体验，减少退货率。服装设计：帮助设计师快速试验不同设计方案，降低样品制作成本。游戏和娱乐：在游戏和虚拟现实中为角色定制服装，增强沉浸感。
博客
机器人开源项目分享，助力一户一机器人
05-24 804
最初，因隋炀帝思念心切，命工匠按照柳抃的形象制作了木偶机器人，被认为是历史上最早的机器人之一。这些木偶机器人通过精巧设计的机关，能够执行坐、起、拜、伏等动作。如今，随着科技的发展，机器人已经广泛应用于医疗、军事、教育、服务等各个领域，为人类提供更安全、更便捷、更高效的服务。因此，本文整理了一些机器人相关的开源数据集、模型和项目，旨在帮助研究人员更好地开展相关领域的工作。
博客
新手小白如何使用云平台复现论文代码——体验yolov8监控交通流
05-15 356
这种方法可以检测多个对象，并且速度更快，准确率更高。参考本节，体验使用 YOLO 系列中精度最高的 yolov8x 推理预测交通信息，包括：识别交通工具、车辆进区域计数、车辆越线计数。5.推理完成后，当前目录（/gemini/code/）会生成相应推理结果视频，下载并观看。4.运行过程中，右上角的实心圈会逐渐变成空心圈，当完全变成空心圈时代表推理完成。2.双击左侧目录中“体验2-车辆进区域计数.ipynb”，切换至该文件。:可自定义，如“yolov8监控交通流”，详情如图1。，解压刚才上传的代码包。
博客
当Kubeflow遇上GPU池化
04-30 1284
企业在使用GPU时，一般都是通过静态分配的方式给开发人员，也有一些企业会将GPU虚拟化之后静态分配给开发人员，不管是哪一种，都会存在GPU浪费的情况，因为开发人员不是一直都在使用GPU，大部分时间都在进行代码开发调试、超参数选择优化等，因此如何在有限的预算下高效使用GPU算力，让昂贵的GPU卡能够满足更多的开发人员需求，成为企业亟待解决的实际问题。未来，随着技术的不断进步和应用场景的不断拓展，我们有理由相信，GPU池化将在AI领域发挥举足轻重的作用，助力企业实现智能化转型和可持续发展。
博客
如何识破“换脸“？DeepFake 数据集：真假难辨
04-29 965
最初，Reddit 社区出现了一系列利用深度学习技术制作的明星换脸小视频，这些视频将一位明星的脸替换成另一位明星的脸，但保留了原始视频中的面部表情和动作。这一现象引起了大量用户的关注，随之而来的是这一技术被命名为“DeepFake”。如今，由 AI 合成的换脸视频已经不再罕见，但也伴随着各种法律和伦理问题。如果被恶意使用，DeepFake 技术可能在诸如色情制造、虚假新闻、视频语音诈骗等领域被用来误导舆论、扰乱社会秩序，甚至危害国家主权安全。
博客
生物特征识别的六大技术研究
04-17 981
生物特征识别技术是结合了计算机科学与光学、声学、生物传感器以及生物统计学原理，通过利用人体固有的生理特征（如指纹、人脸、虹膜、掌纹、指静脉等）和行为特征（如笔迹、声音、步态等），来进行个人身份的鉴定。随着科技的飞速发展，“指纹开金库”、“扫脸抓逃犯”等高科技场景不再局限于电影情节中，“指纹解锁”、“刷脸支付”已经融入到了人们的日常生活中，成为了寻常百姓不可或缺的便利工具。这一切的背后都离不开生物特征识别技术的广泛应用。本文将介绍一些生物特征识别领域的热门技术和应用，为该领域的研究人员提供一些有益的支持。
博客
令GPU的生产力数倍提升的最佳方式 – 软件定义算力
04-10 914
照进现实中AI算法使用GPU的现状，同理，业界想提高GPU的利用率，提升GPU生产力的话，要不就是算法针对GPU进行定制开发（需要针对GPU型号，CUDA版本等），就是按GPU的资源去定制最优化的线程块和warp数量，尽量利用GPU资源，提高生产力（即旅行社进行团员数量和团数量的最大优化）；另外，趋动科技的OrionX软件可以将整个GPU服务器集群中所有的GPU组成一个大的GPU资源池，然后针对算法程序的需求，可以基于整个资源池的资源（算力和显存）进行按需供给，也就是可以跨节点调用GPU资源，见下图。
博客
GPU从虚拟化迈向池化：趋动OrionX产品的创新之路
03-25 1185
在这一阶段，OrionX不仅集成了前述各阶段的功能，还实现了软件定义的AI算力，支持虚拟机、容器、网络调用等多种模式，具备完善的数据面和控制面，以及对多种AI芯片的池化支持。例如，如果某个vGPU的实际计算需求突然增加，而其他vGPUs的资源未被充分利用，系统也无法将闲置资源重新分配给需求较高的vGPU，从而导致资源浪费和性能瓶颈。具体而言，算力效率实现了4倍增长，硬件投资减少了55%，同时，这也带来了碳排放的大幅下降，减少了约42.8%，体现了企业对社会责任的积极承担。
博客
AI算力池化赋能企业大模型价值探索
03-19 789
不同部门、不同业务、不同场景下构建的AI算力基础设施缺乏统一的管理运维工具。通过用户态或内核态的方式对AI算力资源进行虚拟化，可以实现算力和显存维度的简单或任意比例切分，能够实现单机多卡的聚合，如果是多机多卡等跨节点的资源需求则依赖任务管理模块将作业切分成多个分布式的任务，然后任务被集群调度框架插件调度到合适的节点，因此节点虚拟化软件和集群调度框架插件必须同时使用才能在一定程度上解决以上问题，目前比较常见的节点虚拟化软件有cGPU、qGPU等云厂商的GPU虚拟化方案，以及开源的GPU Manager。
博客
软件定义AI算力云化调度解决方案
02-27 875
伴随大模型时代的到来，算力需求持续增长而资源利用率低下的矛盾日益凸显，趋动科技提出软件定义的异构AI算力云化调度解决方案，通过软件定义的方式，利用硬件虚拟池化技术，基于云化调度引擎，解决AI算力资源碎片的问题，旨在为企业发展人工智能技术提供敏捷、高效、弹性、易用的异构算力资源。趋动科技基于软件定义异构AI算力云化调度解决方案，依托自研的云化资源调度引擎，从多维度增强了异构AI算力资源管控能力，在提升整个数据中心资源利用率的同时，给予AI任务更大的资源调配的灵活性。
博客
GPU over IP/IB：趋动OrionX产品的创新之路
02-26 899
用以支持虚拟机更好的使用GPU，在那个年代，人工智能尚未爆发，更多的使用场景是VDI，即大家熟悉的Citrix和VMware的虚拟桌面方案，用以在制造和设计领域，更好的利用GPU资源。所以，本质上来讲，趋动的OrionX和此类VM或容器GPU共享方案不仅技术路线不一样，实现的功能不一样，而且，看到的愿景也完全不一样——一个看到的是网络联通的整个GPU资源池，一个仅仅是单服务器节点内的卡。等，这类方案也是遵循类似的思路，针对单张GPU卡，按照业务的需求，采用细颗粒度算力和显存的静态分配。
博客
高校建设AI算力平台方案探索
02-01 1254
但随着硬件采购受限，且一般的IaaS平台对算力管理调度、尤其是异构算力的管理和使用能力有限，多以直通方式为主，现有的资源提供模式的弊端就会突显出来：AI算力不能在各个任务之间灵活切换，使资源使用率不理想，也增加了运维人员的工作量。通过OrionX的跨机聚合能力，可以快速方便的提供多卡的运行环境，提升使用效率。OrionX vGPU具备动态加载和释放的能力，当有AI任务执行时，才会占用GPU的算力资源，任务执行完毕GPU资源会立即释放，这样就能很好解决GPU在不同使用者之间切换的问题。
博客
软件定义数据中心（SDDC）最后的两块拼图 – GPU池化和内存池化
01-29 889
那么我们可以通过高速的CXL交换机将多个主机互联组成一个高速‘内存网络‘， 通过该内存网络加上上述CXL的地址一致性的能力就可以组成了一个完全可以共享的内存池，解决了‘memory stranding’的问题！从目前业界的情况来说，内存池化的技术，不像GPU池化那样具备较多的实际客户案例，而且内存池化这种技术更多是大型数据中心需求的，也多在大型数据中心测试和实验。微软Azure做过调查， 他们有高达25%的内存都是闲置的，有50%的虚拟机使用的内存占比仅为50%，大约有一半的内存没有被用上。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值