dpdk 网卡初始化时中断使能的过程

最新推荐文章于 2024-06-02 11:26:58 发布
最新推荐文章于 2024-06-02 11:26:58 发布
阅读量1.1k 收藏 6
点赞数 2
分类专栏： dpdk Linux 文章标签： dpdk pmd 驱动 中断回调函数 uio 设备使能中断 uio_info uio 设备的读写
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Longyu_wlz/article/details/108740803
版权
Linux 同时被 2 个专栏收录
143 篇文章 13 订阅
订阅专栏
dpdk
94 篇文章 31 订阅
订阅专栏

dpdk pmd 中注册中断回调函数并使能中断

eth_ixgbe_dev_init 是 ixgbe 网卡的初始化函数，在这个函数的最后注册中断回调并使能中断。

在配置了收发队列等等步骤后，注册中断回调函数，调用如下代码注册：

	rte_intr_callback_register(&pci_dev->intr_handle,
				   ixgbe_dev_interrupt_handler,
				   (void *)eth_dev);

使能 uio、vfio 中断、事件描述符映射通过如下代码来完成：

	/* enable uio/vfio intr/eventfd mapping */
	rte_intr_enable(&pci_dev->intr_handle);

rte_intr_enable 函数会根据不同的中断处理类型分发到不同的函数上，在 rte_intr_handle_type 中定义不同的中断的类型，定义内容如下：

enum rte_intr_handle_type {
	RTE_INTR_HANDLE_UNKNOWN = 0,
	RTE_INTR_HANDLE_UIO,          /**< uio device handle */
	RTE_INTR_HANDLE_UIO_INTX,     /**< uio generic handle */
	RTE_INTR_HANDLE_VFIO_LEGACY,  /**< vfio device handle (legacy) */
	RTE_INTR_HANDLE_VFIO_MSI,     /**< vfio device handle (MSI) */
	RTE_INTR_HANDLE_VFIO_MSIX,    /**< vfio device handle (MSIX) */
	RTE_INTR_HANDLE_ALARM,    /**< alarm handle */
	RTE_INTR_HANDLE_EXT, /**< external handler */
	RTE_INTR_HANDLE_MAX
};

ret_intr_enable 函数的代码如下所示：

int
rte_intr_enable(struct rte_intr_handle *intr_handle)
{
	if (!intr_handle || intr_handle->fd < 0 || intr_handle->uio_cfg_fd < 0)
		return -1;

	switch (intr_handle->type){
	/* write to the uio fd to enable the interrupt */
	case RTE_INTR_HANDLE_UIO:
		if (uio_intr_enable(intr_handle))
			return -1;
		break;
	case RTE_INTR_HANDLE_UIO_INTX:
		if (uio_intx_intr_enable(intr_handle))
			return -1;
		break;
	/* not used at this moment */
	case RTE_INTR_HANDLE_ALARM:
		return -1;
#ifdef VFIO_PRESENT
	case RTE_INTR_HANDLE_VFIO_MSIX:
		if (vfio_enable_msix(intr_handle))
			return -1;
		break;
	case RTE_INTR_HANDLE_VFIO_MSI:
		if (vfio_enable_msi(intr_handle))
			return -1;
		break;
	case RTE_INTR_HANDLE_VFIO_LEGACY:
		if (vfio_enable_intx(intr_handle))
			return -1;
		break;
#endif
	/* unknown handle type */
	default:
		RTE_LOG(ERR, EAL,
			"Unknown handle type of fd %d\n",
					intr_handle->fd);
		return -1;
	}

	return 0;
}

可以看到它根据 intr_handle->type 这个中断控制类型分发到不同的子函数上，这里我着重研究下标准的 UIO 设备控制中断的方式。

标准 UIO 设备控制中断

对于标准的 uio 设备，通过向设备文件中写入 1 来使能中断，与之类似关闭中断的过程是向设备文件中写入 0。

uio_intr_enable 函数的代码摘录如下：

static int
uio_intr_enable(struct rte_intr_handle *intr_handle)
{
	const int value = 1;

	if (write(intr_handle->fd, &value, sizeof(value)) < 0) {
		RTE_LOG(ERR, EAL,
			"Error enabling interrupts for fd %d (%s)\n",
			intr_handle->fd, strerror(errno));
		return -1;
	}
	return 0;
}

可以看到，这个函数通过写 1 到 uio 设备文件中来完成使能中断的过程。

写入 uio 设备文件代表怎样的行为？

uio 可以看做是一种字符设备驱动，在此驱动中注册了单独的 file_operations 函数表，可以看做是一种独立的设备类型。

file_operations 函数内容如下：

static const struct file_operations uio_fops = {
	.owner		= THIS_MODULE,
	.open		= uio_open,
	.release	= uio_release,
	.read		= uio_read,
	.write		= uio_write,
	.mmap		= uio_mmap,
	.poll		= uio_poll,
	.fasync		= uio_fasync,
	.llseek		= noop_llseek,
};

该函树表在 uio_major_init 中初始化 cdev 结构体时使用，相关代码如下：

    cdev->owner = THIS_MODULE;
	cdev->ops = &uio_fops;
	kobject_set_name(&cdev->kobj, "%s", name);

	result = cdev_add(cdev, uio_dev, UIO_MAX_DEVICES);

uio_write 函数

uio_write 是写入 uio 设备文件时内核中最终调用到的写入函数，其代码如下：

static ssize_t uio_write(struct file *filep, const char __user *buf,
			size_t count, loff_t *ppos)
{	
	struct uio_listener *listener = filep->private_data;
	struct uio_device *idev = listener->dev;
	ssize_t retval;
	s32 irq_on;

	if (count != sizeof(s32))
		return -EINVAL;

	if (copy_from_user(&irq_on, buf, count))
		return -EFAULT;

	mutex_lock(&idev->info_lock);
	if (!idev->info) {
		retval = -EINVAL;
		goto out;
	}

	if (!idev->info || !idev->info->irq) {
		retval = -EIO;
		goto out;
	}

	if (!idev->info->irqcontrol) {
		retval = -ENOSYS;
		goto out;
	}

	retval = idev->info->irqcontrol(idev->info, irq_on);

out:
	mutex_unlock(&idev->info_lock);
	return retval ? retval : sizeof(s32);
}

可以看到它从用户态获取到 irq_on 这个变量的值，为 1 对应要使能中断，为 0 则表示关闭中断，在获取了这个参数后，它首先占用互斥锁，然后调用 info 结构体中实例化的 irqcontrol 子函数来完成工作。

uio_info 结构体及其实例化过程

uio_write 函数中的 idev 变量是一个指向 struct uio_device 的指针，struct uio_device 中又包含 一个指向 struct uio_info 的指针，struct uio_info 结构体内容如下：

struct uio_info {
	struct uio_device	*uio_dev;
	const char		*name;
	const char		*version;
	struct uio_mem		mem[MAX_UIO_MAPS];
	struct uio_port		port[MAX_UIO_PORT_REGIONS];
	long			irq;
	unsigned long		irq_flags;
	void			*priv;
	irqreturn_t (*handler)(int irq, struct uio_info *dev_info);
	int (*mmap)(struct uio_info *info, struct vm_area_struct *vma);
	int (*open)(struct uio_info *info, struct inode *inode);
	int (*release)(struct uio_info *info, struct inode *inode);
	int (*irqcontrol)(struct uio_info *info, s32 irq_on);
};

每一个 uio 设备都会实例化一个 uio_info 结构体，uio 驱动自身不会实例化 uio_info 结构体，它只提供一个框架，可以在其它模块中调用 uio_register_device 来实例化 uio_info 结构体，在 dpdk 中，常见方式是在驱动绑定 igb_uio 的时候调用 uio_register_device 进行实例化。

igb_uio.c 中的相关代码

可以在 igb_uio.c 的 probe 函数 igbuio_pci_probe 中找到实例化的相关代码，摘录如下：

	/* fill uio infos */
	udev->info.name = "igb_uio";
	udev->info.version = "0.1";
	udev->info.handler = igbuio_pci_irqhandler;
	udev->info.irqcontrol = igbuio_pci_irqcontrol;
#ifdef CONFIG_XEN_DOM0
	/* check if the driver run on Xen Dom0 */
	if (xen_initial_domain())
		udev->info.mmap = igbuio_dom0_pci_mmap;
#endif
	udev->info.priv = udev;
	udev->pdev = dev;
	
...........................................................

	/* register uio driver */
	err = uio_register_device(&dev->dev, &udev->info);
	if (err != 0)
		goto fail_remove_group;

可以看到这里对 udev->info 中的字段进行了填充，同时设置了 handler 与 irqcontrol 回调函数等字段的值，最后通过 uio_register_device 实例化一个 uio 设备。

write 写入 uio 设备文件的完整过程

上文中我已经提到过使用 write 系统调用写入 uio 设备文件最终将会调用到

info 结构体中实例化的 irqcontrol 子函数来完成工作，这里 igb_uio 就完成了这样的过程。

也就是说在绑定网卡到 igb_uio 时，写入接口对应的 uio 设备文件时将会调用 igb_uio 中实例化的 info->irqcontrol 函数来控制中断状态。

这里提到的 irqcontrol 的实例化函数，在 igb_uio 中对应的就是 igbuio_pci_irqcontrol 函数。其代码如下：

static int
igbuio_pci_irqcontrol(struct uio_info *info, s32 irq_state)
{
	struct rte_uio_pci_dev *udev = info->priv;
	struct pci_dev *pdev = udev->pdev;

	pci_cfg_access_lock(pdev);
	if (udev->mode == RTE_INTR_MODE_LEGACY)
		pci_intx(pdev, !!irq_state);

	else if (udev->mode == RTE_INTR_MODE_MSIX) {
		struct msi_desc *desc;

#if (LINUX_VERSION_CODE < KERNEL_VERSION(4, 3, 0))
		list_for_each_entry(desc, &pdev->msi_list, list)
			igbuio_msix_mask_irq(desc, irq_state);
#else
		list_for_each_entry(desc, &pdev->dev.msi_list, list)
			igbuio_msix_mask_irq(desc, irq_state);
#endif
	}
	pci_cfg_access_unlock(pdev);

	return 0;
}

这里需要访问 pci 配置空间，根据不同的中断类型来控制中断状态，这就完成了所有的过程。

完整的过程草图

write uio -> uio_write -> idev->info->irqcontrol -> igbuio_pci_irqcontrol

设定网卡中断寄存器

完成了上面描述的使能 uio、vfio 中断、事件描述符映射的过程后，网卡初始化函数会设定网卡自身的硬件中断寄存器来使能硬件中断。

对应 ixgbe 驱动中使能网卡硬件中断的函数调用如下：

	/* enable support intr */
	ixgbe_enable_intr(eth_dev);

ixgbe_enable_intr 函数通过写入 EIMS 来使能需要的中断源，其代码如下：

static inline void
ixgbe_enable_intr(struct rte_eth_dev *dev)
{
	struct ixgbe_interrupt *intr =
		IXGBE_DEV_PRIVATE_TO_INTR(dev->data->dev_private);
	struct ixgbe_hw *hw =
		IXGBE_DEV_PRIVATE_TO_HW(dev->data->dev_private);

	IXGBE_WRITE_REG(hw, IXGBE_EIMS, intr->mask);
	IXGBE_WRITE_FLUSH(hw);
}

从 82599 的手册中找到了如下内容：

Software enables the required interrupt causes by setting the EIMS register.

与这里设定 EIMS 寄存器的行为一致，至此就完成了所有的初始化过程。

longyu_wlz
关注
专栏目录
DPDK网卡PMD驱动常用属性字段和API函数汇总
每天分享一个编程小知识
06-08 1815
使用方法：rte_eth_dev_configure函数的struct rte_eth_conf的参数指定rxmode.mq_mode = RTE_ETH_MQ_RX_RSS_FLAG，rx_adv_conf.rss_conf指定哈希key。如果网卡支持RTE_ETH_TX_OFFLOAD_MT_LOCKFREE属性，则多个线程可以在没有锁的情况下，在同一个Tx队列上并发地调用rte_eth_tx_burst()发送报文。请注意，扩展统计信息标识符是驱动程序特定的，因此对于不同的端口可能不一样。
DPDK (1) - PMD驱动方案
程序猿Ricky的日常干货
09-23 5170
为了支持Userspace IO，DPDK可以选择如下三种类型的驱动： uio_pci_generic uio + igb_uio vfio-pci uio_pci_generic是内核原生的一种uio驱动，该驱动提供了uio功能，直接使用如下命令加载： sudo modprobe uio_pci_generic 这个原生驱动是不支持VF设备创建的，因此DPDK也提供了另外一种uio驱动igb_uio，它是可以用于宿主机上来创建VF设备的。适用性比内核原生的uio_pci_generic更强一些，其中
DPDK 中断处理流程
weixin_39094034的博客
03-28 928
本文整理下之前的学习笔记，基于DPDK17.11版本源码分析。主要分析一下中断处理流程。网卡支持的中断有多种类型，比如收发包，LSC(链路状态变化)，mailbox等，但是DPDK使用PMD来收发包，不用处理收发包中断。 将网卡绑定到igb_uio时会注册uio，生成/dev/uiox字符设备。DPDK初始化时会open /dev/uiox设备，对应到kernel端会申请中断号，并注册中断处理函数。DPDK还会创建中断处理线程，并注册用户态的中断处理函数，注册时将open的fd添加到epoll队列中等待中
无线网卡的中断处理程序
weixin_30483013的博客
08-02 103
在linux系统中，整个中断流程被分为两个部分。 第一个部分是中断处理程序（上半部），内核通过对它的异步执行完成对硬件中断的即时响应。 另一个部分称作下半部，下半部的任务是执行与中断处理密切相关但是中断处理程序本身不执行的工作。 无线网卡的中断处理程序在无线网卡的初始化函数中得到注册。每当硬件发出中断，中断处理函数都会首先读取状态寄存器，判断导致中断产生的事件。然后根据不同的事件调用不同的函...
DPDK PMD（ Poll Mode Driver）轮询模式驱动程序
RToax
08-21 4298
DPDK PMD（ Poll Mode Driver）轮询模式驱动程序 目录 Mellanox PMDs 轮询模式驱动程序 要求和假设 设计原则 逻辑核心，内存和NIC队列关系 设备标识，所有权和配置 设备识别 港口所有权 设备配置 即时配置 发送队列的配置 按需免费发送mbuf 硬件卸载 轮询模式驱动程序API 共性 通用数据包表示 以太网设备API 以太网设备标准设备参数 扩展统计API NIC重置API Mellanox PMDs https://ww.
DPDK收发包处理流程——网卡初始化
lingshengxiyou的博客
08-20 607
调用rte_eal_init()--->rte_eal_pci_probe()函数，遍历pci_device_list和pci_driver_list链表，根据PCI_ID，将pci_device与pci_driver绑定，并调用pci_driver的init回调函数rte_eth_dev_init()，初始化PCI设备。调用rte_eal_init()--->rte_eal_dev_init()函数，遍历dev_driver_list链表，执行网卡驱动对应的init的回调函数，注册PCI驱动。
DPDK pci设备初始化过程
weixin_43651292的博客
05-18 512
设备初始化利用gcc的属性attribute(constructor)定义的函数，可以在main函数执行前运行，还可以指定优先级attribute(constructor(prio))，prio从101开始，值越小越早执行。不指定优先级的版本是优先级更低的。
DPDK网卡多队列
weixin_60043341的博客
08-27 954
网卡多队列，顾名思义，也就是传统网卡的DMA队列有多个，网卡有基于多个DMA队列的分配机制。多队列网卡已经是当前高速率网卡的主流。Linux内核中，RPS（Receive Packet Steering）在接收端提供了这样的机制。...
DPDK 网卡设备scan及probe流程
weixin_60043341的博客
08-30 881
本文只是简单介绍了网卡设备及PMD驱动的探测,并且实例化网卡设备；利用igb_uio驱动将网卡设备的IO及中断资源映射到用户态。但是对eth_i40e_pci_probe()函数还需要深入研究.
dpdk pmd驱动初始化
最新发布
u014044624的博客
06-02 74
应用层之所以可以对这个配置空间中的寄存器进行操作，得益于igb_uio驱动，igb_uio驱动将网卡的配置空间暴露到应用层来，应用层才能知道网卡的寄存器地址在哪里，进而对这些寄存器进行读写操作。pmd里面会维护一个网卡数组，对于每一个网卡结构，都会维护这个网卡的接收发送数据的回调，关联的驱动等信息。在每一个网卡的配置目录下，都有一个resouce文件，里面记录了这个网卡的配置空间的开始位置，结束位置，以及配置空间的总大小。相应的，nvm层，vbx层都是这样的一种框架结构，掌握了mac层，其他层也是类似的。
dpdk pmd驱动分析
lingshengxiyou的博客
01-10 1093
如上所以new_id 对应的驱动处理函数为store_new_id, bind对应的处理函数为driver_bind，unbind对应的处理函数为driver_unbind。new_id操作new_id主要就是将设备ID加入至驱动动态设备ID列表，供后面驱动设备匹配时(probe)使用。bind操作bind操作通过传入的设备标识找到具体的设备抽象，与驱动记录的设备ID进行匹配，匹配成功后进行probe。unbind操作unbind操作通过传入的设备标识找到具体的设备抽象后进行释放。
DPDK之PMD原理
weixin_43300893的博客
05-08 147
转载
dpdk 多进程模型对 pmd 驱动实现的要求
龙瑜的博客
11-03 852
dpdk 多进程模型支持在多个进程间共享网卡硬件资源，一般会在 primary 进程中进行网卡初始化， secondary 进程中不再进行初始化，仅仅执行必要的本地化逻辑。实现这一功能的基础是基于大页内存的数据共享以及不同类型进程的不同初始化逻辑。实际测试发现不同的 pmd 驱动多多进程模型的支持情况不太一样，有些能够正常工作，有些却不能正常工作。这些不能正常工作的驱动，存在的主要问题是访问共享数据中的本地内容。
DPDK RX / TX Callbacks 源码阅读
weixin_30329623的博客
07-17 265
这个sample是基于basicfw的。basicfw就是一个网口收到的包立即从另一个网口转发出去，非常简洁明了的程序，可以通过basicfw学习基础的DPDK发包API。RX / TX Callbacks 演示在接收和传输的数据包上使用用户定义的回调函数。 /* SPDX-License-Identifier: BSD-3-Clause * Copyright(c) 2010-2015 Int...
dpdk-16.04 扩展新网卡驱动过程
龙瑜的博客
06-06 1822
编译相关配置添加 确定网卡的 vendor id 与 device id，在 rte_pci_dev_ids.h 中添加新的设备定义 #ifndef RTE_PCI_DEV_ID_DECL_FM10K #define RTE_PCI_DEV_ID_DECL_FM10K(vend, dev) #endif RTE_PCI_DEV_ID_DECL_FM10K(PCI_VENDOR_ID_INTEL, FM10K_DEV_ID_PF) RTE_PCI_DEV_ID_DECL_FM10K(PCI_VENDO
DPDK — 网卡驱动初始化流程
烟云的计算
06-14 3792
目录 文章目录目录总览rte_eth_dev/rte_eth_dev_data 数据结构rte_eth_dev_count 函数rte_eth_dev_configure 函数ixgbe_dev_configure 函数rte_eth_dev_rx_queue_config/rte_eth_dev_tx_queue_config 函数rte_eth_rx_queue_setup 函数ixgbe_dev_rx_queue_setup 函数rte_eth_tx_queue_setup 函数ixgbe_dev_t
DPDK如何添加自己开发的pmd
悠扬侠的博客
12-05 419
DPDK19 如何添加自己开发的pmd
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值