dpdk-16.11 virtio 驱动初始化卡住问题定位

最新推荐文章于 2024-07-15 16:35:09 发布
最新推荐文章于 2024-07-15 16:35:09 发布
阅读量1k 收藏 2
点赞数 1
分类专栏： 云原生 dpdk 问题定位 工作问题案例 文章标签： virtio dpdk virtio virtio-pci modern virtio kvm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/longyu_wlz/article/details/128065623
版权

问题描述

qemu 5.1.0 版本 kvm 虚拟化环境中使用 virtio 网卡时，dpdk 程序初始化打印了如下信息后卡住：

..............................................
EAL: PCI device 0000:00:04.0 on NUMA socket -1
EAL:   probe driver: 1af4:1000 rte_virtio_pmd
EAL:   PCI memory mapped at 0x400148000000
EAL:   PCI memory mapped at 0x400148001000

gdb 查看到如下堆栈信息：

(gdb) bt
#0  0x00007ffff75faec4 in modern_set_status () from /lib64/libdpdk.so
#1  0x00007ffff75fb4cd in vtpci_reset () from /lib64/libdpdk.so
#2  0x00007ffff75ff534 in virtio_init_device () from /lib64/libdpdk.so
#3  0x00007ffff75ffe86 in eth_virtio_dev_init () from /lib64/libdpdk.so
..........................................................................,....

堆栈信息表明程序是在 modern_set_status 函数中卡住了，具体原因并不清楚。

信息收集

内核版本信息

3.16.35

qemu 版本

[root@localhost ~]#  /usr/bin/qemu-system-x86_64 --version
QEMU emulator version 5.1.0

接口驱动绑定信息

Network devices using DPDK-compatible driver
============================================
0000:00:04.0 'Virtio network device' drv=igb_uio unused=uio_pci_generic
0000:00:05.0 'Virtio network device' drv=igb_uio unused=uio_pci_generic

网卡正常绑定到 igb_uio 驱动上。

接口 lspci 信息

00:04.0 0200: 1af4:1000
        Subsystem: 1af4:0001
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0
        Interrupt: pin A routed to IRQ 11
        Region 0: I/O ports at c180 [size=32]
        Region 1: Memory at febd2000 (32-bit, non-prefetchable) [size=4K]
        Region 4: Memory at fe000000 (64-bit, prefetchable) [size=16K]
        Expansion ROM at feb40000 [disabled] [size=256K]
        Capabilities: [98] MSI-X: Enable+ Count=3 Masked-
                Vector table: BAR=1 offset=00000000
                PBA: BAR=1 offset=00000800
        Capabilities: [84] Vendor Specific Information: VirtIO: <unknown>
                BAR=0 offset=00000000 size=00000000
        Capabilities: [70] Vendor Specific Information: VirtIO: Notify
                BAR=4 offset=00003000 size=00001000 multiplier=00000004
        Capabilities: [60] Vendor Specific Information: VirtIO: DeviceCfg
                BAR=4 offset=00002000 size=00001000
        Capabilities: [50] Vendor Specific Information: VirtIO: ISR
                BAR=4 offset=00001000 size=00001000
        Capabilities: [40] Vendor Specific Information: VirtIO: CommonCfg
                BAR=4 offset=00000000 size=00001000
        Kernel driver in use: igb_uio

lspci 信息未见明显异常。

程序 pmap 信息

程序映射的 resource 信息如下：

0000600009e00000      4K rw-s- /sys/devices/pci0000:00/0000:00:04.0/resource1
0000600009e01000     16K rw-s- /sys/devices/pci0000:00/0000:00:04.0/resource4

对照测试

dpdk 示例程序 l2fwd 测试

测试结论：
同样卡住，堆栈与产品程序 一致，日志记录如下：

(gdb) bt
#0  0x00000000004f1184 in modern_set_status ()
#1  0x00000000004f178d in vtpci_reset ()
#2  0x00000000004f57f4 in virtio_init_device ()
#3  0x00000000004f6146 in eth_virtio_dev_init ()
...................................................

高版本 l2fwd 程序测试

编译 dpdk-19.11 版本 l2fwd 测试，现象相同。

官方驱动测试

能够正常绑定到 virtio-pci 驱动中，表明问题出在 dpdk 驱动上。

排查内容

1. dmesg 信息

虚拟机 dmesg 信息未见异常，宿主机 dmesg 信息未见异常。

2. 关闭 iommu

关闭后问题仍旧存在

源码分析

modern_set_status 函数源码如下：

static void
modern_set_status(struct virtio_hw *hw, uint8_t status)
{
	io_write8(status, &hw->common_cfg->device_status);
}

它的功能是写入 virtio 网卡寄存器，设定虚拟网卡状态。执行 io_write8 函数写入的时候卡住表明问题出在虚拟网卡 pci resource 空间访问上，确认代码逻辑中此处为第一次访问网卡寄存器，表明映射的虚拟网卡寄存器空间不可访问，怀疑问题可能与 qemu 版本有关。

卡住的现象到底是怎样的？

gdb 查看卡住是的寄存器信息与函数返汇编代码如下：

(gdb) info registers
rax            0x600009e01000   105553281945600
rbx            0x60000501f100   105553200279808
rcx            0x0      0
rdx            0x3      3
rsi            0x0      0
rdi            0x60000501f100   105553200279808
rbp            0x29cb1f0        0x29cb1f0
rsp            0x7fffffffdd48   0x7fffffffdd48
r8             0x1      1
r9             0xfeff7efdff336462       -72199439641254814
r10            0x7fffffffdb20   140737488345888
r11            0x7ffff75fb4c0   140737343632576
r12            0x29cb1f0        43823600
r13            0x60000501f1c0   105553200280000
r14            0x60000501f100   105553200279808
r15            0x74fcd0 7666896
rip            0x7ffff75faec4   0x7ffff75faec4 <modern_set_status+4>
eflags         0x3246   [ PF ZF IF #12 #13 ]
cs             0x33     51
ss             0x2b     43
....................................................................
(gdb) disass
Dump of assembler code for function modern_set_status:
   0x00007ffff75faec0 <+0>:     mov    0x40(%rdi),%rax
=> 0x00007ffff75faec4 <+4>:     mov    %sil,0x14(%rax)
   0x00007ffff75faec8 <+8>:     retq
End of assembler dump.

可以确定是在访问 resource4 virtio bar 空间的时候卡住，仅仅影响当前进程，其它进程仍旧能够正常运行。有这个现象，我比较怀疑是 qemu 本身的问题，但是解释不了为什么官方驱动能够正常工作，还需要继续定位。

思考

内核驱动与 dpdk 驱动访问网卡的 pci resource bar 空间都需要经过地址映射，dpdk 中通过 mmap resource 文件来映射地址，这个操作我判断大概率不会存在差别，毕竟 resource 文件也是内核探测 pci 设备的时候配置的，出问题的概率非常小。

从现象上来看比较像是在用户态无法访问，但是一般来说在虚拟机中访问 virtio resource bar 空间在 qemu 中的行为应当是一致的，不应该出现内核能访问，用户态程序无法访问的问题，毕竟 qemu 并不区分虚拟机中的内核与用户态程序，而且其实内核与用户态程序只是分时执行代码，qemu 侧不应该有这个区别。

阅读内核代码

由于我对内核 virtio-pci、virtio-net 这部分代码的实现并不清楚，既然内核代码能够工作，那需要先研究下内核代码的逻辑，一定是这个过程与 dpdk 驱动的执行过程有区别才造成了不同的结果。

阅读 3.16.35 内核的代码，发现它的 virtio-pci 驱动并不支持 virtio modern，只支持 virtio legacy 这种访问方式。

在这种访问方式下，它设置 virtio 网卡 status 寄存器使用如下代码：

static void vp_reset(struct virtio_device *vdev)
{
        struct virtio_pci_device *vp_dev = to_vp_device(vdev);
        /* 0 status means a reset. */
        iowrite8(0, vp_dev->ioaddr + VIRTIO_PCI_STATUS);
        /* Flush out the status write, and flush in device writes,
         * including MSi-X interrupts, if any. */
        ioread8(vp_dev->ioaddr + VIRTIO_PCI_STATUS);
        /* Flush pending VQ/configuration callbacks. */
        vp_synchronize_vectors(vdev);
}

而我们使用的 dpdk virtio 驱动支持 virtio modern 设备，reset virtio 网卡通过读写 virtio resource bar4 中 CommonCfg 处的空间来进行 virtio 网卡的 reset。

修改 dpdk virtio 驱动，使用 legacy 模式访问 virtio 网卡寄存器

将 vtpci_init 函数修改为如下逻辑：

				#if 0
        if (virtio_read_caps(dev, hw) == 0) {
                PMD_INIT_LOG(INFO, "modern virtio pci detected.");
                hw->vtpci_ops = &modern_ops;
                hw->modern    = 1;
                *dev_flags |= RTE_ETH_DEV_INTR_LSC;
                return 0;
        }
        #endif

        PMD_INIT_LOG(INFO, "trying with legacy virtio pci.");
        if (legacy_virtio_resource_init(dev, hw, dev_flags) < 0) {
                if (dev->kdrv == RTE_KDRV_UNKNOWN) {
                        PMD_INIT_LOG(INFO,
                                "skip kernel managed virtio device.");
                        return 1;
                }
                return -1;
        }

临时注掉了使用 virtio modern pci ops 的逻辑，改为使用 legacy pci ops，重新编译 l2fwd 能够正常初始化。
l2fwd 运行打印了如下与 virtio 驱动相关的信息：

EAL: PCI device 0000:00:04.0 on NUMA socket -1
EAL:   probe driver: 1af4:1000 rte_virtio_pmd
EAL: PCI Port IO found start=0xc180
EAL: PCI device 0000:00:05.0 on NUMA socket -1
EAL:   probe driver: 1af4:1000 rte_virtio_pmd
EAL: PCI Port IO found start=0xc1a0

dpdk 驱动对 virtio modern 设备会先尝试使用 modern pci ops 的方法读写网卡寄存器，当尝试失败后再继续尝试 legacy pci ops，这个顺序并不能调整，如果将 legacy pci ops 尝试放到前面，那一些 virtio modern 网卡就不能使用 modern pci ops 来读写网卡寄存器，性能会下降。

从现象上表明问题出在 qemu 上，可能是某种兼容性问题，可以尝试通过升级 qemu 版本解决。

能否修改 qemu 启动参数指定使用 virtio-legacy 设备？

异常 kvm VM qemu 启动参数中 virtio 网卡相关内容如下：

-device virtio-net-pci,netdev=hostnet1,id=net1,mac=52:54:00:5e:90:1a,bus=pci.0,addr=0x4 -netdev tap,fd=48,id=hostnet2,vhost=on,vhostfd=49 -device virtio-net-pci,netdev=hostnet2,id=net2,mac=52:54:00:af:a8:c9,bus=pci.0,addr=0x5

配置上没有发现有啥异常，网上搜索到可以设置 disable-modern=‘off’ 参数，但是我们的虚拟机配置是通过 virt-manager 生成的，一通搜索与尝试确定 libvirtio 不支持强制设置 virtio 设备为 legacy 模式。

参考链接

virtio_net 与 virtio-pci 驱动关联浅析

longyu_wlz
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DPDK18.08上对VIRTIO IN ORDER 功能所做的优化
lingshengxiyou的博客
09-03 319
作为对应的实现，18.08中virtio user pmd中加入了两个新的收发函数：virtio_recv_mergeable_pkts_inorder和virtio_xmit_pkts_inorder。还有一个是in_order用来配置VIRTIO_F_IN_ORDERfeature，默认配置也是打开。所以现在如果在dpdk生成一个virtio虚拟设备，它的默认参数会是“queues=1，queue_size=256，server=0,mrg_rxbuf=1，in_order=1”。
DPDK示例之EAL初始化时出错
qq_49326230的博客
09-15 1882
EAL:connot create lock on ‘var/run/.rte_config’ Is another primary process running?
Hypervisor之半虚拟化virtio
最新发布
汽车以太网和SOA
07-15 5460
Hypervisor之半虚拟化virtio
DPDK系列之十七DPDK网络虚拟化virtio-user
fpcc的专栏
05-02 1491
virtio做为半虚拟化的应用标准，在DPDK中最典型的应用其实就是virtio-user，在前面的vhost-user一样，都是把工作放到了用户态。也就是说，virtio-user把设备驱动搬到了用户态，在virtio-net(网络半虚拟化)中，这样做能够更好的提高应用效率。而在DPDK中把这种驱动称之为virtio-pmd，而DKDK中的virtio-user既可以创建virtio设备并与后端的vhost完成初始化配置，又可以在没有KVM/QUEM的参与的非虚拟环境下使用相关的virtio设备。
DPDK virtio-user介绍及使用 笔记
dangdanding的专栏
01-30 541
Rusty Russell提出了virtio的模型和实现：virtio: Towards a De-Facto Standard For Virtual I/O Devices。virtio是一种标准的半虚拟化IO设备模型，Rusty Russell希望通过这个模型，将半虚拟化的IO设备驱动（网卡、磁盘块设备等）统一起来，便于后续的维护、扩展和优化。任何Hypervisor或其他后端都可以根据virtio设备的标准实现virtio设备的后端功能，从而避免继续向内核中加入新的半虚拟化设备驱动。
海光 cpu kvm 虚拟机中 dpdk virtio 网卡 MMIO 方式访问网卡 resource bar 空间卡住问题分析
龙瑜的博客
12-11 2922
海光 cpu kvm 虚拟机中 dpdk virtio 网卡 MMIO 方式访问网卡 resource bar 空间卡住问题分析
DPDK-Dump:使用DPDK库，DPDK-Dump能够在磁盘上高速存储网络流量
05-13
DPDK-Dump是正在进行的相关工作的一部分，以发布对网络社区有用的开源10Gbps +工具。 在此页面上收集了更多工具： : DPDK-Dump是在FP7 mPlane项目的背景下开发的–面向未来网络和应用程序管理的智能测量平面（ ） ...
DPDK-ethtool imiss丢包调试说明.doc
07-28
DPDK-ethtool imiss 丢包调试说明 DPDK-ethtool 是一个强大的网络调优工具，它可以对网卡进行错误包统计、imiss 包统计。通过阅读代码，我们可以了解到，imiss 的值是通过读取 x710 网卡的 GLPRT_RDPC 寄存器以及 ...
dpdk-ovs:使用DPDK和Vhostuser CNI开发沙箱打开vSwitch
05-01
使用DPDK打开vSwitch ... other_config:dpdk-init=true $ ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-socket-mem= " 1024 " $ ovs-vsctl --no-wait set Open_vSwitch . other_config:pmd-cpu-mask=0x2
DPDK-iperf for L4 LoadBalancers.pdf
10-22
DPDK-iperf for L4 LoadBalancers.pdf 本文档主要介绍了使用DPDK-iperf实现Layer 4负载均衡器的相关知识点。 首先，DPDK-iperf是一款基于DPDK的iperf工具，用于测量Layer 4负载均衡器的性能。DPDK-iperf可以在不...
dpdk-tools-17.11.pdf
11-24
需要注意的是，dpdk-pdump工具只能与已经初始化了包捕获框架的主应用程序一起使用。在DPDK中，只有testpmd被修改为初始化包捕获框架，其他的pmd（poll mode driver）并没有初始化包捕获框架。 3. dpdk-pmdinfo dpdk...
【DPDK】虚拟机开发环境配置
dengdi8115的博客
10-14 314
DPDK介绍见：www.dpdk.org 本文介绍的步骤基本适用于dpdk 1.7.0 - dpdk 2.0.0 各版本。只是setup.sh显示的菜单有一些小的不同；同样的，也适用于ubuntu更高版本（已在ubuntu 12.04+及14.04上验证过) 1. 所用系统与软件版本 系统：Ubuntu 12.04.3 LTS 64位，CentOS Linux re...
dpdk 死锁问题后续之初始化假设不可迁移问题
龙瑜的博客
06-06 522
在 程序启动顺序引发的血案之 dpdk 进程死锁 这篇博客中，我描述了 dpdk 多进程之间共享的用户态锁在临界区被异常杀死后无法再获取到锁的问题。修改的方案是将这些在多个进程之间共享的锁修改为 pthread mutex 互斥锁。前期的测试验证与代码 review 及集成测试都没有发现异常，最近却发现又出现了死锁的问题。最开始我的想法是现在使用了 mutex 锁，出现了死锁也能够找到是谁占有了锁，问题应该不太困难，实际操作起来却发现有些想当然。在本文中我将完整地描述这一新死锁问题定位的过程。...
【DPDK】网卡绑定和解绑步骤
LFTF的博客
12-17 9904
​该文章目标是得出**DPDK绑定网卡脚本，只需修改个别参数即可使用**，因此涉及到得其他流程不再具体呈现（如dpdk编译安装，巨页内存配置等）。 针对igb_uio驱动（对应DPDK版本16.11, 操作系统CentOS 7.2）以及vfio-pci驱动（对应DPDK版本20.11,操作系统CentOS 8.4）这两个进行对比说明。 DPDK绑定网卡的简单步骤如下: 查看网卡名（ifconfig命令查看）； 挂载dpdk驱动（igb_uio或者vfio-pci驱动）； 将网卡down掉（ifconfig
DPDK无锁队列之MemPool理解
legend050709的专栏
03-18 644
目录参考 参考
DPDK踩坑记（一）
袁赟的博客
03-18 3078
公司的新产品是一款服务器端的网卡芯片，支持各种密码学计算offload，是清华大学的可重构结构，还挺牛逼的，不过再怎么牛逼，这还是一块网卡芯片，上网是主要的功能，所以最近入坑DPDK了。之所以说入坑，是因为网络方面完全是小白，学习的过程就是不断填坑的过程。dpdp网上的资料已经挺多的了，我主要把自己学习过程中遇到的问题记录下来，如果觉得很小儿科的大神可以飘过了...... 硬件环境:（主机Intel(R) Core(TM) i5-4590 CPU @ 3.30GHz + 我司的n10芯片网卡）*..
dpdk 多线程 gdb + master
lingshengxiyou的博客
11-16 529
1、 main线程没有调用pthread_join一、初始化1、rte_eal_cpu_init()函数中，通过读取/sys/devices/system/cpu/cpuX/下的相关信息，确定当前系统有哪些CPU核，已经每个核属于哪个CPU Socket。2、eal_parse_args()函数，解析-c参数，确认哪些CPU核是可以使用的，以及设置第一个核为MASTER [root@localhost ring_test]# gdb ./build/app/dpdk_test GNU gdb (GDB)
如何快速定位 dpdk memzone 内存泄露问题？
龙瑜的博客
11-13 1052
许多问题的复杂性不在于问题本身，而是难以获取到足够根因闭环的信息。这些信息的缺失一部分来源于框架自身实现与信息收集工具的缺失，另一部分来自于维护者对框架的理解的不足。对这两点不足进行反思并持续改进，当维护者对框架实现了然于胸，可用的工具也一抓一大把时，许多看似困难的问题将会迎刃而解。
记一次dpdk 16.11版本移植错误排查
focus on security
05-14 580
移植后cmd_thread_init()报错，修改cmd使用的管理核。 server启动后报段错误，tx_buffer初始化失败。 增大hugepage，报错remap失败。 reboot设备，修改server的启动参数，绑定网卡到dpdk，启动成功。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值