Mellanox网卡驱动——representor框架学习

背景：DPU多是参考mellanox网卡软硬件框架。对于ovs快速转发路径硬化的场景，网络报文进入进入FPGA的网口，如果流表匹配，直接通过快速路径送到主机。如果不能匹配，则需要soc上的ovs慢速路径创建新的流表项，然后下发给FPGA。

 

云场景下，一般都是虚拟机和容器的场景，网卡会开启VF，每个VF都可以作为一个网卡设备使用。mellanox的网卡针对这种场景使用了representor的概念。在soc上为每个VF虚拟出了一个representor，每个representor都对应一个网卡设备。在soc上，mlx5会同时使用内核态和用户态的驱动，内核态会相应注册一个net_device，用户态dpdk会创建一个eth_dev（dpdk里的网卡设备结构）。

有了eth_dev结构，那么ovs所有的操作都可以通过这个结构下发，包括流表下发、慢速路径报文接收转发。

一、网卡和pcie驱动

1、网卡设备框架

DPDK对应用层提供的是一个rte_eth_dev结构，所有的参数、接口都在这个rte_eth_dev结构体里。

struct rte_eth_dev {
	eth_rx_burst_t rx_pkt_burst; /**< Pointer to PMD receive function. */
	eth_tx_burst_t tx_pkt_burst; /**< Pointer to PMD transmit function. */
	eth_tx_prep_t tx_pkt_prepare; /**< Pointer to PMD transmit prepare function. */

	eth_rx_queue_count_t       rx_queue_count; /**< Get the number of used RX descriptors. */
	eth_rx_descriptor_done_t   rx_descriptor_done;   /**< Check rxd DD bit. */
	eth_rx_descriptor_status_t rx_descriptor_status; /**< Check the status of a Rx descriptor. */
	eth_tx_descriptor_status_t tx_descriptor_status; /**< Check the status of a Tx descriptor. */

	/**
	 * Next two fields are per-device data but *data is shared between
	 * primary and secondary processes and *process_private is per-process
	 * private. The second one is managed by PMDs if necessary.
	 */
	struct rte_eth_dev_data *data;  /**< Pointer to device data. */
	void *process_private; /**< Pointer to per-process device data. */
	const struct eth_dev_ops *dev_ops; /**< Functions exported by PMD */
	struct rte_device *device; /**< Backing device */
	struct rte_intr_handle *intr_handle; /**< Device interrupt handle */
	/** User application callbacks for NIC interrupts */
	struct rte_eth_dev_cb_list link_intr_cbs;
	/**
	 * User-supplied functions called from rx_burst to post-process
	 * received packets before passing them to the user
	 */
	struct rte_eth_rxtx_callback *post_rx_burst_cbs[RTE_MAX_QUEUES_PER_PORT];
	/**
	 * User-supplied functions called from tx_burst to pre-process
	 * received packets before passing them to the driver for transmission.
	 */
	struct rte_eth_rxtx_callback *pre_tx_burst_cbs[RTE_MAX_QUEUES_PER_PORT];
	enum rte_eth_dev_state state; /**< Flag indicating the port state */
	void *security_ctx; /**< Context for security ops */

	uint64_t reserved_64s[4]; /**< Reserved for future fields */
	void *reserved_ptrs[4];   /**< Reserved for future fields */
} __rte_cache_aligned;

与框架相关的比较重要的，收发报文的接口是rx_pkt_burst和tx_pkt_burst。还有与网卡相关的初始化、配置等接口都在eth_dev_ops里。还有网卡设备的私有数据，带有硬件相关的各项参数和数据，记录在rte_eth_dev_data结构里，包括网卡名称、收发队列个数及列表、mac地址等等。

值得注意的是，为了representor的概念，mellanox在rte_eth_dev_data结构里添加了一个名为representor_id的参数，用作representor设备的id。

2、pcie驱动框架

mellanox的驱动在drivers/common/mlx5和drivers/net/mlx5目录下。common目录下是通用pcie相关，包括pcie驱动、与硬件交互的接口封装；net目录下是更上层的接口，包括eth设备、representor相关的一系列操作。

dpdk的驱动框架和内核一样，都是bus、device和driver。一般情况下，所有的设备创建、初始化都是在硬件pcie的probe流程里实现的，representor的创建和初始化也是这样，在mellanox的pcie驱动probe到pcie设备的时候创建了representor。

首先看一下mellanox中pcie驱动的定义。

static struct rte_pci_driver mlx5_pci_driver = {
	.driver = {
		.name = MLX5_DRIVER_NAME,
	},
	.probe = mlx5_common_pci_probe,
	.remove = mlx5_common_pci_remove,
	.dma_map = mlx5_common_pci_dma_map,
	.dma_unmap = mlx5_common_pci_dma_unmap,
};

驱动加载后，所有的流程都是从probe函数开始的。

二、representor创建

前面说到，所有的流程都是从probe函数开始，所以representor的创建也是在mlx5驱动的probe函数里实现的。只是mlx5在pcie驱动(drivers/common/mlx5)的基础上又抽象了一个自己内部的drv_list，在mlx5-pcie驱动的probe函数里又进行了一次mlx5内部驱动的探测，探测到了/drivers/net/mlx5目录下的mellanox驱动，在这个驱动的probe里执行了与网络相关的所有操作。

static struct mlx5_pci_driver mlx5_driver = {
	.driver_class = MLX5_CLASS_NET,
	.pci_driver = {
		.driver = {
			.name = MLX5_DRIVER_NAME,
		},
		.id_table = mlx5_pci_id_map,
		.probe = mlx5_os_pci_probe,
		.remove = mlx5_pci_remove,
		.dma_map = mlx5_dma_map,
		.dma_unmap = mlx5_dma_unmap,
		.drv_flags = PCI_DRV_FLAGS,
	},
};

另外，mlx5的用户态驱动是在内核驱动基础上的，用户态初始化的操作很多都依赖于内核态驱动。mlx5内核驱动提供了netlink接口，dpdk驱动可以从netlink接口获取基础的设备信息，比如当前有多少个端口、ib设备信息等等。dpdk与硬件交互的方式主要有两类，一种方式是netlink接口与内核通信，一般是直接获取硬件信息；还有一种是通过struct mlx5_glue定义的接口，一般是更复杂的操作，比如很重要的create qp、create flow等等。这套mlx5_glue的接口最终是调用了mlx5封装的库，实现并不在dpdk中，这部分代码可以从github上找到。

 representor的创建是在mlx5_os_pci_probe接口中，根据从内核驱动获取的一系列信息，对需要的端口创建representor数据结构，在mlx5_dev_spawn()里创建了representor，并且返回了每个representor的eth_dev。

list[i].eth_dev = mlx5_dev_spawn(&pci_dev->device,
					&list[i],
					&dev_config);

前面提到eth_dev结构里，收发报文的接口是rx_pkt_burst和tx_pkt_burst，其余接口在eth_dev_ops中实现。在mlx5_dev_spawn中的配置如下，其实removed_rx_burst和removed_tx_burst接口是一个空函数，相当于不做任何处理。

eth_dev->rx_pkt_burst = removed_rx_burst;
eth_dev->tx_pkt_burst = removed_tx_burst;

eth_dev->dev_ops = &mlx5_os_dev_ops;

在eth_dev_ops的dev_start接口中，又会把eth_dev的tx_pkt_burst和rx_pkt_burst更新为真正的接收和发送函数，因为dev_start才标识端口启动。

dev->tx_pkt_burst = mlx5_select_tx_function(dev);
dev->rx_pkt_burst = mlx5_select_rx_function(dev);

在我们的环境下，gdb调试看到rx_pkt_burst使用的是mlx5_rx_burst_vec接口，在这里进行了数据包文接收。

uint16_t mlx5_rx_burst_vec(void *dpdk_rxq, struct rte_mbuf **pkts, uint16_t pkts_n)
{
	struct mlx5_rxq_data *rxq = dpdk_rxq;
	uint16_t nb_rx = 0;
	uint16_t tn = 0;
	uint64_t err = 0;
	bool no_cq = false;

	do {
		nb_rx = rxq_burst_v(rxq, pkts + tn, pkts_n - tn,
				    &err, &no_cq);
		if (unlikely(err | rxq->err_state))
			nb_rx = rxq_handle_pending_error(rxq, pkts + tn, nb_rx);
		tn += nb_rx;
		if (unlikely(no_cq))
			break;
	} while (tn != pkts_n);
	return tn;
}

三、mlx5收发数据相关结构

1、报文接收

以报文的接收处理流程为例，报文接收主要包含两个结构体mlx5_rxq_ctrl和mlx5_rxq_data，其中mlx5_rxq_data是mlx5_rxq_ctrl的一个子单元。每个接收队列的私有结构体就是mlx5_rxq_data，对于暴露给ovs的eth_dev的rx接口，传入的参数就是mlx5_rxq_data。

结构体中硬件相关的参数，比如cqn,wqe等；内存管理相关的有struct rte_mbuf *(*elts)[]   mempool等，一般会预分配buffer空间填入硬件，等待接收。

struct mlx5_rxq_data {
	uint16_t port_id;
	uint32_t elts_ci;
	uint32_t rq_ci;
	uint16_t consumed_strd; /* Number of consumed strides in WQE. */
	uint32_t rq_pi;
	uint32_t cq_ci;
	uint16_t rq_repl_thresh; /* Threshold for buffer replenishment. */
	uint32_t byte_mask;
	union {
		struct rxq_zip zip; /* Compressed context. */
		uint16_t decompressed;
		/* Number of ready mbufs decompressed from the CQ. */
	};
	struct mlx5_mr_ctrl mr_ctrl; /* MR control descriptor. */
	uint16_t mprq_max_memcpy_len; /* Maximum size of packet to memcpy. */
	volatile void *wqes;
	volatile struct mlx5_cqe(*cqes)[];
	struct rte_mbuf *(*elts)[];
	struct mlx5_mprq_buf *(*mprq_bufs)[];
	struct rte_mempool *mp;
	struct rte_mempool *mprq_mp; /* Mempool for Multi-Packet RQ. */
	struct mlx5_mprq_buf *mprq_repl; /* Stashed mbuf for replenish. */
	struct mlx5_dev_ctx_shared *sh; /* Shared context. */
	uint16_t idx; /* Queue index. */
	struct mlx5_rxq_stats stats;
	rte_xmm_t mbuf_initializer; /* Default rearm/flags for vectorized Rx. */
	struct rte_mbuf fake_mbuf; /* elts padding for vectorized Rx. */
	void *cq_uar; /* Verbs CQ user access region. */
	uint32_t cqn; /* CQ number. */
	uint8_t cq_arm_sn; /* CQ arm seq number. */
#ifndef RTE_ARCH_64
	rte_spinlock_t *uar_lock_cq;
	/* CQ (UAR) access lock required for 32bit implementations */
#endif
	uint32_t tunnel; /* Tunnel information. */
	int timestamp_offset; /* Dynamic mbuf field for timestamp. */
	uint64_t timestamp_rx_flag; /* Dynamic mbuf flag for timestamp. */
	uint64_t flow_meta_mask;
	int32_t flow_meta_offset;
	uint32_t rxseg_n; /* Number of split segment descriptions. */
	struct mlx5_eth_rxseg rxseg[MLX5_MAX_RXQ_NSEG];
} __rte_cache_aligned;

2、基本的硬件机制说明

mellanox网卡的底层通信协议是RDMA或者类RDMA，对于这部分不太了解，在实际的代码中会看到一些cq、rq、wq的概念，这些都是RDMA中会有的概念，cq表示control queue，control queue是用于一些事件的通知，比如收到报文的事件通知；rq表示接收队列，wq表示发送队列的意思吧。