qGPU 容器产品全量上线，重磅发布 GPU 在离线混部功能

作者

徐蓓，腾讯云容器技术专家，腾讯云异构计算容器负责人，多年云计算一线架构设计与研发经验，长期深耕 Kubernetes、在离线混部与 GPU 容器化领域，Kubernetes KEP Memory QoS 作者，Kubernetes 积极贡献者。

摘要

qGPU 是腾讯云推出的 GPU 共享技术，支持在多个容器间共享 GPU 卡资源，提供百分比算力与 MB 级显存细粒度分配和强隔离能力，并且搭配业界独有的 GPU 在离线混部技术，在充分保证业务安全、稳定的前提下，将 GPU 利用率提升到了极致。

qGPU 已服务内外部大量客户，帮助众多 AI 企业节省大量 GPU 成本。qGPU 容器虚拟化产品现已在腾讯云 TKE 全量上线。

腾讯云在业界（除 NVIDIA 原厂外）首次实现了对细粒度算力强隔离的支持。qGPU 算力可以实现 1% 的细粒度限制，并且保证严格按照配比分配和限制算力资源，即使在 GPU 资源非常紧张时，各业务所分配算力资源依然保证不受影响。依赖这种能力，企业用户可以尽量多的增加业务部署密度，充分利用 GPU 资源，而不用担心会对业务带来负面影响。

qGPU 依赖 TKE 自研调度器和设备管理器，在 TKE Kubernetes 集群上支持 GPU 卡级别的百分比算力和 MB 级显存分配和调度，在保证集群最优资源分配和负载的前提下，让企业 AI 任务可以使用更小粒度的 GPU 资源。

qGPU 在 GPU 硬件级（而非 CUDA API 级的拦截和控制）实现了 QoS