Nvidia GPU云基础设施
文章平均质量分 92
Nvidia GPU云基础设施
木子CS
LLM Infer, AI Infra, CUDA
展开
-
Nvidia GPU热迁移-Singularity
在GPU虚拟化和池化的加持下,可以显著提高集群的GPU利用率,同时也可以较好地实现弹性伸缩。但有时会遇到需要GPU资源再分配的场景,此时亟需集群拥有GPU任务热迁移的能力。原创 2023-04-10 00:11:40 · 349 阅读 · 1 评论 -
Nvidia GPU池化-远程GPU
Nvidia GPU得益于在深度学习领域强大的计算能力,使其在数据中心常年处于绝对的统治地位。尽管借助GPU虚拟化实现多任务混布,提高了GPU的利用率,缓解了长尾效应,但是GPU利用率的绝对值还是不高,长尾现象依然存在。网卡池化、存储池化、内存池化、CPU池化等一系列相近基础设施领域的技术演进,让大家对GPU池化也产生了一些想法。原创 2023-04-03 19:10:57 · 759 阅读 · 0 评论 -
Nvidia GPU虚拟化
随着Nvidia GPU在渲染、编解码和计算领域发挥着越来越重要的作用,各大软件厂商对于Nvidia GPU的研究也越来越深入,尽管Nvidia倾向于生态闭源,但受制于极大的硬件成本压力,提升GPU利用率、压榨GPU性能逐渐成为基础设施领域关注的焦点。自然地,为了追求GPU上显存资源和算力资源的时分复用和空分复用,大家都开始考虑软件定义GPU,GPU虚拟化应运而生。原创 2023-03-31 19:02:42 · 1842 阅读 · 1 评论