- 博客(2)
- 收藏
- 关注
RSS订阅原创 KVM虚机GPU直通实践总结
【注意】目录/usr/lib/dracut/modules.d/下的每一个子目录都代表一个 dracut模块，每个模块至少包含一个module-setup.sh脚本（用于模块的安装和配置设定），20这个数字设置的原则是要小于被覆盖的驱动程序模块nvidia。采用如上GPU直通方式A，vfio-pci模块的绑定配置匹配的是供应商与设备ID，这会导致绑定主机上所有同一型号的GPU，不符合我们期望的部分GPU给宿主机的容器使用，部分GPU做直通给虚机使用的情形，为此需要考虑绑定设备PCI地址的方式。
2024-03-08 10:31:10
1344
原创 容器搭建vivo蓝心大模型
为了省略容器内安装CUDA驱动的环节，可以直接使用nvidia/cuda的官方容器镜像，这里使用cuda-11.7.1版本，原因是该模型依赖该版本，而其他版本如cuda-12.1则不被支持，需要注意的是：GPU服务器上安装的CUDA版本为12.1，GPU服务器上运行的的docker容器内部署的CUDA版本为11.7，在容器内执行nvidia-smi依然显示为宿主机的CUDA版本12.1，而不是11.7，但该现象并不影响后续的安装，此外镜像需下载devel开发版，后续编译过程则无需安装其他编译工具。
2024-01-31 17:08:04
784
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人