docker用gpu的参数_【AI算力】GPU虚拟化技术对比: vGPU、cGPU和vCUDA

背景

AI落地时，在某些场景下AI模型在训练或者是推理时，其算力要求不需要占用整卡的GPU，比如只需要0.5卡GPU即可满足需求。在这种情况下，可以使用GPU虚拟化技术来解决这个问题，将整卡的GPU虚拟化为两个0.5卡的GPU，这样就可以在一张卡上同时跑两个AI训练或者AI推理应用服务，极大压榨算力资源，降低成本。
基本痛点：

• 容器的GPU利用率不够高，特别是推理任务；
• 为了提高GPU的利用率、避免算力浪费，需要在单个GPU上运行多个容器；

虚拟化技术对比

目前常见的NVIDIA GPU虚拟化技术方案有：NVIDIA GRID(vGPU)，NVIDIA MPS，cGPU和vCUDA。其中，在k8s容器上常用的为vCUDA和cGPU方案：

坑呀，我不想用图片的，但是直接markdown转不了知乎的表格，有点奇怪...被迫贴图片