![9def16514da259ae74bdb42a7450bd51.png](https://i-blog.csdnimg.cn/blog_migrate/ce8bf80f52228a1b93d0681c095a77e5.png)
背景
AI落地时,在某些场景下AI模型在训练或者是推理时,其算力要求不需要占用整卡的GPU,比如只需要0.5卡GPU即可满足需求。在这种情况下,可以使用GPU虚拟化技术来解决这个问题,将整卡的GPU虚拟化为两个0.5卡的GPU,这样就可以在一张卡上同时跑两个AI训练或者AI推理应用服务,极大压榨算力资源,降低成本。
基本痛点:
- 容器的GPU利用率不够高,特别是推理任务;
- 为了提高GPU的利用率、避免算力浪费,需要在单个GPU上运行多个容器;
虚拟化技术对比
目前常见的NVIDIA GPU虚拟化技术方案有:NVIDIA GRID(vGPU),NVIDIA MPS,cGPU和vCUDA。其中,在k8s容器上常用的为vCUDA和cGPU方案:
![85ad8612a6b72b4a1b4c449fbfed09d4.png](https://i-blog.csdnimg.cn/blog_migrate/058debfdbc03e1d580d6dbf113e997d8.jpeg)