CentOS 7 KVM GPU 直通配置

最新推荐文章于 2024-05-14 20:24:37 发布
最新推荐文章于 2024-05-14 20:24:37 发布
阅读量4.9k 收藏 26
点赞数 2
分类专栏： Linux 文章标签： centos linux kvm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010099177/article/details/120709515
版权

原文链接：

  1. https://www.server-world.info/en/note?os=CentOS_7&p=kvm&f=10
  2. https://wiki.archlinux.org/title/PCI_passthrough_via_OVMF

网上很多配置显卡直通的教程竟然要付费，让我很不爽，所以直接决定在 Google 上找一篇可用的，翻译一下。就当做个贡献了。

本文目标：配置虚拟机的GPU直通。配置完之后，就可以在虚拟机里面使用GPU了，用于机器学习/深度学习。

前置条件

显卡直通依赖于一些虚拟化技术, 可能在你的机器上不可用, 必须先检查以下条件:

  • 首先CPU必须支持硬件虚拟化(for KVM)和IOMMU(for 直通)
  • 主板必须支持 IOMMU
  • GPU ROM 必须支持 UEFI。2012 年以后的 GPU 几乎都支持。

比较方便的检查方法就是在BIOS设置中找到并打开 VT-d (Intel) 或者 IOMMU (AMD)。如果没有这些选项，那就是不支持。

第一步 在KMV主机上启动IOMMU

# 首先编辑文件
$ vim /etc/default/grub 
# 第6行: 添加 intel_iommu=on (如果是AMD CPU, 添加 [amd_iommu=on])
# 还应该添加参数 iommu=pt, 阻止 Linux 接触不能透传的设备
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet intel_iommu=on iommu=pt"
GRUB_DISABLE_RECOVERY="true"

$ grub2-mkconfig -o /boot/grub2/grub.cfg
$ reboot  # 重启

重启之后验证IOMMU是否启用：

$ dmesg | grep -E "DMAR|IOMMU"
[    0.000000] ACPI: DMAR 00000000bf79e0d0 00118 (v01    AMI  OEMDMAR 00000001 MSFT 00000097)
[    0.000000] DMAR: IOMMU enabled
[    0.069846] DMAR: Host address width 40
[    0.069848] DMAR: DRHD base: 0x000000fbffe000 flags: 0x1
[    0.069856] DMAR: dmar0: reg_base_addr fbffe000 ver 1:0 cap c90780106f0462 ecap f020fe
[    0.069858] DMAR: RMRR base: 0x000000000ec000 end: 0x000000000effff
[    0.069859] DMAR: RMRR base: 0x000000bf7ec000 end: 0x000000bf7fffff
[    0.069861] DMAR: ATSR flags: 0x0
[    0.069863] DMAR-IR: IOAPIC id 6 under DRHD base  0xfbffe000 IOMMU 0
[    0.070128] DMAR-IR: Enabled IRQ remapping in xapic mode
[    0.960840] DMAR: dmar0: Using Queued invalidation
[    0.960860] DMAR: Setting RMRR:
[    0.960890] DMAR: Setting identity map for device 0000:00:1a.0 [0xbf7ec000 - 0xbf7fffff]
[    0.960925] DMAR: Setting identity map for device 0000:00:1a.1 [0xbf7ec000 - 0xbf7fffff]
[    0.960958] DMAR: Setting identity map for device 0000:00:1a.2 [0xbf7ec000 - 0xbf7fffff]
[    0.960994] DMAR: Setting identity map for device 0000:00:1a.7 [0xbf7ec000 - 0xbf7fffff]
[    0.961031] DMAR: Setting identity map for device 0000:00:1d.0 [0xbf7ec000 - 0xbf7fffff]
[    0.961064] DMAR: Setting identity map for device 0000:00:1d.1 [0xbf7ec000 - 0xbf7fffff]
[    0.961100] DMAR: Setting identity map for device 0000:00:1d.2 [0xbf7ec000 - 0xbf7fffff]
[    0.961132] DMAR: Setting identity map for device 0000:00:1d.7 [0xbf7ec000 - 0xbf7fffff]
[    0.961153] DMAR: Setting identity map for device 0000:00:1a.0 [0xec000 - 0xeffff]
[    0.961167] DMAR: Setting identity map for device 0000:00:1a.1 [0xec000 - 0xeffff]
[    0.961182] DMAR: Setting identity map for device 0000:00:1a.2 [0xec000 - 0xeffff]
[    0.961196] DMAR: Setting identity map for device 0000:00:1a.7 [0xec000 - 0xeffff]
[    0.961210] DMAR: Setting identity map for device 0000:00:1d.0 [0xec000 - 0xeffff]
[    0.961224] DMAR: Setting identity map for device 0000:00:1d.1 [0xec000 - 0xeffff]
[    0.961238] DMAR: Setting identity map for device 0000:00:1d.2 [0xec000 - 0xeffff]
[    0.961255] DMAR: Setting identity map for device 0000:00:1d.7 [0xec000 - 0xeffff]
[    0.961270] DMAR: Prepare 0-16MiB unity mapping for LPC
[    0.961287] DMAR: Setting identity map for device 0000:00:1f.0 [0x0 - 0xffffff]
[    0.961424] DMAR: Intel(R) Virtualization Technology for Directed I/O

第二步 启动 vfio-pci 内核模块

// 保留 RHEL/CentOS 官方提供的通用内核即可。

$ uname -a

# 显示显卡的PCI认证数字和[供应商ID:设备ID]
$ lspci -nn | grep -i nvidia
3b:00.0 3D controller [0302]: NVIDIA Corporation GP104GL [Tesla P4] [10de:1bb3] (rev a1)
86:00.0 3D controller [0302]: NVIDIA Corporation GP104GL [Tesla P4] [10de:1bb3] (rev a1)

# 编辑vfio配置文件
$ vim /etc/modprobe.d/vfio.conf
# 创建一个新行，指定ids=供应商ID:设备ID
options vfio-pci ids=10de:1bb3,10de:1bb3

# 创建一个新文件，写入 vfio-pci
$ echo 'vfio-pci' > /etc/modules-load.d/vfio-pci.conf

$ reboot  # 重启

重启之后检查 vfio 是否加载

$ dmesg | grep -i vfio
[    6.441900] VFIO - User Level meta-driver version: 0.3
[    6.497125] vfio-pci: probe of 0000:3b:00.0 failed with error -22
[    6.497163] vfio-pci: probe of 0000:86:00.0 failed with error -22
[    6.497181] vfio_pci: add [10de:1bb3[ffff:ffff]] class 0x000000/00000000
[    6.497233] vfio-pci: probe of 0000:3b:00.0 failed with error -22
[    6.497249] vfio-pci: probe of 0000:86:00.0 failed with error -22
[    6.497258] vfio_pci: add [10de:1bb3[ffff:ffff]] class 0x000000/00000000

出现了几个error 是什么意思？

第三步 更新QEMU

# 查看QEMU版本
$ /usr/libexec/qemu-kvm -version
QEMU emulator version 1.5.3 (qemu-kvm-1.5.3-175.el7_9.3), Copyright (c) 2003-2008 Fabrice Bellard

# 升级新版
$ yum -y install centos-release-qemu-ev
Running transaction
  Installing : centos-release-virt-common-1-1.el7.centos.noarch                                                    1/2
  Installing : centos-release-qemu-ev-1.0-4.el7.centos.noarch                                                      2/2
  Verifying  : centos-release-qemu-ev-1.0-4.el7.centos.noarch                                                      1/2
  Verifying  : centos-release-virt-common-1-1.el7.centos.noarch                                                    2/2

Installed:
  centos-release-qemu-ev.noarch 0:1.0-4.el7.centos

Dependency Installed:
  centos-release-virt-common.noarch 0:1-1.el7.centos
  
# 关闭 CentOS-QEMU-EV
$ sed -i -e "s/enabled=1/enabled=0/g" /etc/yum.repos.d/CentOS-QEMU-EV.repo

# 将 qemu-kvm 替换成 qemu-kvm-ev 
$ yum --enablerepo=centos-qemu-ev -y install qemu-kvm-ev
$ systemctl restart libvirtd

# 查看 KVM 版本
$ /usr/libexec/qemu-kvm -version
QEMU emulator version 2.12.0 (qemu-kvm-ev-2.12.0-44.1.el7_8.1)
Copyright (c) 2003-2017 Fabrice Bellard and the QEMU Project developers

# 验证是否包含了 q35
$ /usr/libexec/qemu-kvm -machine help | grep q35
q35                  RHEL-7.6.0 PC (Q35 + ICH9, 2009) (alias of pc-q35-rhel7.6.0)
pc-q35-rhel7.6.0     RHEL-7.6.0 PC (Q35 + ICH9, 2009)
pc-q35-rhel7.5.0     RHEL-7.5.0 PC (Q35 + ICH9, 2009)
pc-q35-rhel7.4.0     RHEL-7.4.0 PC (Q35 + ICH9, 2009)
pc-q35-rhel7.3.0     RHEL-7.3.0 PC (Q35 + ICH9, 2009)

第四步 创建新虚拟机

$ virt-install \
--name centos7 \
--ram 8192 \
--disk path=ubuntu16.img,size=30 \
--vcpus 4 \
--os-type linux \
--os-variant ubuntu16.04 \
--network bridge=br0 \
--graphics none \
--console pty,target_type=serial \
--location ubuntu-16.04.7-server-amd64.iso \
--extra-args 'console=ttyS0,115200n8 serial' \
--host-device 3b:00.0 \
--features kvm_hidden=on \
--machine q35

参数解释：

  • name 虚拟机名称
  • ram 内存大小
  • disk 指定存储设备及类型
  • vcpus 虚拟 CPU 个数
  • os-type 操作系统类型
  • os-variant 具体操作系统变体
  • network 连接宿主机的网桥或网络
  • graphics 虚拟机显示器访问接口，默认是 vnc
  • console ??
  • location 安装源, 支持 FTP、HTTP 及 NFS 等
  • extra-args 当执行从 –location 选项指定位置的客户机安装时，附加内核命令行参数到安装程序
  • host-device 附加物理设备到客户机
  • features kvm_hidden=on 从宿主机隐藏虚拟机状态
  • machine QEMU模拟的CPU架构
    参考资料：官方文档，CSDN博客，博客园
两个幽灵
关注
  • 2
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
kvm直通sata_KVM虚拟化win10显卡直通一例
weixin_39930144的博客
12-30 1570
一、硬件及需求联想SR650 2x5218，64G，3x1.2T SAS HDD，显卡RTX2080因为对系统要求必须是windows，windows server系统没有显卡驱动，win10又没有对应的服务器硬件驱动，尝试安装windows10，使用windows server2019驱动，系统安装安装完成后，驱动问题导致系统蓝屏，重启，无法正常使用只能使用centos+kvm部署win10虚拟...
Centos7安装kvm服务器
识途老码
01-29 2472
Centos7安装kvm服务器
QEMU: Checking if IOMMU is enabled by kernel: WARN (IOMMU appears to be disabled in kernel
最新发布
十年运维开发经验的王义杰在此分享自己的知识和经验
05-14 387
在使用 QEMU 和虚拟化技术时，遇到这个警告信息表示我们的系统中的 IOMMU（输入输出内存管理单元）功能没有在内核中启用。IOMMU 是硬件技术，用来增强虚拟化环境中的设备 I/O 安全性和性能。通过在物理设备和虚拟机之间提供地址转换，它允许安全地将 I/O 设备直接分配给虚拟机，这个过程通常被称为设备直通（Passthrough）。
Debian11系统实现KVM显卡直通
weixin_53030387的博客
04-02 2288
Debian11系统实现KVM显卡直通
服务器中KVM虚拟机的GPU T4透传和驱动安装
算法攻城狮
09-10 2219
服务器中KVM虚拟机的GPU T4透传和驱动安装 1.前期准备 1.1首先验证CPU支持虚拟化 KVM 需要有 CPU 的支持（Intel VT 或 AMD SVM），在安装 KVM 之前检查一下 CPU 是否提供了虚拟技术的支持。 基于 Intel 处理器的系统，运行grep vmx /proc/cpuinfo查找 CPU flags 是否包括 vmx 关键词 基于 AMD 处理器的系统，运行grep svm /proc/cpuinfo查找 CPU flags 是否包括 svm 关键词.
KVM虚机GPU直通实践总结
smartvap_2012的博客
03-08 2900
【注意】目录/usr/lib/dracut/modules.d/下的每一个子目录都代表一个 dracut模块，每个模块至少包含一个module-setup.sh脚本（用于模块的安装和配置设定），20这个数字设置的原则是要小于被覆盖的驱动程序模块nvidia。采用如上GPU直通方式A，vfio-pci模块的绑定配置匹配的是供应商与设备ID，这会导致绑定主机上所有同一型号的GPU，不符合我们期望的部分GPU给宿主机的容器使用，部分GPU做直通给虚机使用的情形，为此需要考虑绑定设备PCI地址的方式。
CentOS 7 Linux下Nvidia 30系列显卡直通方式(qemu-kvm)
Tody Guo的专栏
04-15 2775
Intel sudo nano /etc/default/grub 增加 intel_iommu=on GRUB_CMDLINE_LINUX="intel_iommu=on crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet" 更新grub sudo grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg 增加vfi.
KVM+显卡直通（passthrough）配置方法及问题说明
热门推荐
dwj1979的博客
12-24 5万+
1.硬件条件 首先要确定主板和CPU都支持VT-d技术，即Virtualization Technology for Direct I/O（英特尔虚拟技术）。近年的产品应该都支持此技术。 在BIOS里将 还要确定要直通的显卡支持PCI Pass-through。似乎A卡对于直通的支持比N卡好，但N卡性能比A卡好，这个大家都知道。目前市面上的显卡一般都支持直通。我用过的NVIDIA 的M60和GeF...
pve系列: amd显卡直通
perfectnewer的博客
01-02 3869
记录整理了amd 显卡直通的过程，遇到的问题，一些经验
基于kvm的显卡透传
weixin_39679882的博客
12-01 8192
基于kvm的显卡透传 ，坑很多 ，下面是我的硬件环境： GPU ： NVIDIA Quadro M4000 CPU : Intel(R) Xeon(R) CPU E5-2683 v3 @ 2.00GHz MEM : 32G SSD : 480G OS : CentOS7.3 + Ocata
android x86 GPU透传,显卡虚拟化方案之GPU透传（一）背景介绍篇
weixin_39673601的博客
05-27 967
之前的文章提到使用conda来进行AI开发环境的搭建，可以看出在主机(host)上搭建复杂的AI环境，有时非常耗费时间和精力。其实我们可以采用一种精简的方式，那就是使用虚拟化技术。比如我们可以使用docker、kvm等虚拟化技术，从主机上创建特定的虚拟机。这样的虚拟机本身是包含AI开发环境的，也就是已经配置好的。比如docker的话有dockerfile，其他虚拟化方案有相关的虚拟镜像。这样直接用...
centos7安装kvm.zip
03-29
在本文中，我们将深入探讨如何在CentOS 7系统上安装和配置KVM（Kernel-based Virtual Machine），并创建虚拟机。KVM是Linux内核的一个模块，它将Linux转换为一个全功能的虚拟化平台，使得用户可以在单一的物理硬件上...
CentOS7 下 GPU 安装配置指南 及 TensorFlow : Openface 的 GPU 使用.pdf
07-08
CentOS7 下 GPU 安装配置指南 及 TensorFlow : Openface 的 GPU 使用.pdf
centos7下sdn网络配置.docx
01-02
CentOS 7 下 SDN 网络配置 本文档旨在指导用户在 CentOS 7 环境下配置 SDN（Software Defined Networking）网络。SDN 是一种新型的网络架构，它将网络控制面和数据面分离，实现了网络控制的智能化和自动化。 SDN ...
centos7网络配置
11-12
centos7网络配置 Linux主机要与网络中其他主机进行通信，首先要进行正确的网络配置。网络配置通常包括主机名、IP地址、子网掩码、默认网关、DNS服务器等。 1.检查并设置有线网络处于连接状态 2.使用系统菜单配置...
centos7安装与环境配置.docx
03-13
centos7安装与环境配置
PVE7.2-3直通独显 nvidia 1080ti
zyh_yexing的博客
12-14 7959
PVE7.2-3直通独显 nvidia 1080ti
Ubuntu20.04.3 KVM+显卡直通（passthrough）配置方法
dwj1979的博客
03-31 1万+
Ubuntu20.04.3上KVM+显卡直通（PassThrough），将Nvdia Gefore 1060,2060,3060等显卡直通给Windows10/Server虚拟机
GPU 简介和 NVIDIA P100 KVM虚拟机使用直通模式获取设备
小宇宙的专栏
12-26 1万+
1. 简介： 对于GPU卡的物理机器，我们都知道，必然是几百G的内存，至少20核等超高配置，仅仅提供给一个用户来使用，太浪费资源了。 那么可以将在同一台机器上的GPU分出来提供给多用户使用，类似于CPU一样，可以提供给虚拟机使用，就将物理资源共享给了更多的用户。 2. 为何要使用GPU？为何不使用性能更强大的CPU？ GPU本身是作为显卡来使用，具有图形渲染等能力，但是对于图形图像等
centos7安装KVM配置网桥
10-15
在CentOS 7上安装KVM并配置网桥的步骤如下： 1. 确认CPU是否支持虚拟化技术，可以通过执行命令`egrep -c '(vmx|svm)' /proc/cpuinfo`来检查。 2. 安装KVM和相关工具：`yum install -y qemu-kvm libvirt virt-install bridge-utils` 3. 启动libvirtd服务：`systemctl start libvirtd` 4. 配置网桥，编辑`/etc/sysconfig/network-scripts/ifcfg-br0`文件，内容如下： ``` DEVICE=br0 TYPE=Bridge BOOTPROTO=static IPADDR=192.168.1.100 NETMASK=255.255.255.0 GATEWAY=192.168.1.1 DNS1=8.8.8.8 ONBOOT=yes ``` 其中，IPADDR、NETMASK、GATEWAY和DNS1需要根据实际情况进行修改。 5. 编辑`/etc/sysconfig/network-scripts/ifcfg-eth0`文件，将原来的配置注释掉，并添加以下内容： ``` DEVICE=eth0 ONBOOT=yes BRIDGE=br0 ``` 6. 重启网络服务：`systemctl restart network` 7. 创建虚拟机时，指定网桥为br0即可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值