DPDK 安装指导银河麒麟篇

DPDK 安装指导

银河麒麟篇

Content

Version History

Content

1. 概述

1.1 介绍

1.2 简介

2.DPDK 22.07安装

2.1 软件版本

2.2 依赖工具

2.3 编译DPDK

2.4 安装网卡驱动

2.5 配置大内存页面

2.6 编译安装l3-fwd

3.DPDK 22.07-l2fwd

4.设备下电以后配置

5.FAQ

1.概述

此文档介绍DPDK在银河麒麟上的安装步骤和FAQ

1.1 介绍

待补充

1.2 简介

待补充

2.DPDK 22.07安装

2.1 软件版本

DPDK：dpdk-22.07

麒麟版本：麒麟桌面V10

linux内核：

2.2 依赖工具

设置系统依赖

apt install python3.8

apt install python3-pip

pip3 install meson ninja --user

apt install python3-pyelftools

apt install libnuma-dev

apt install ninja-build

apt install meson

apt install pkg-config

2.3 编译DPDK 

解压DPDK压缩包

cd dpdk-22.07

meson build

报错后进入config/arm，修改meson.build文件，558行的error修改为warning

cd build

ninja

ninja install

更新配置文件

ldconfig

2.4 安装网卡驱动

git clone http://dpdk.org/git/dpdk-kmods

cd dpdk-kmods/linux/igb_uio

make

modprobe uio

insmod igb_uio.ko intr_mode=legacy

#lsmod | grep uio

#rmmod igb_uio

绑定网卡之前需要关闭linux下的网卡，绑定网卡需要知道网卡的bus号

ifconfig enp1s0 down

进入目录usertools

./dpdk-devbind.py –b=igb_uio 0000:01:00.0 0000:02:00.0 0000:03:00.0 0000:04:00.0

查看绑定结果

./dpdk-devbind.py –s

减绑用-u

./dpdk-devbind.py –u 0000:02:05.0

将网卡绑定为原始驱动

./dpdk-devbind.py –b igb 0000:02:05.0

2.5 配置大内存页面

配置Huge Pages：DPDK需要使用Huge Pages来提供更高的内存性能

usertools/dpdk-hugepages.py --setup 1G

2.6 编译安装l3-fwd

进入dpdk-22.07/examples/l3fwd/

编译

make

进入build目录

./l3fwd -l 1-2 -n 4 -- -P -p 0x3 --config="(0,0,1),(1,0,2)"

如果需要指定客户端服务器的mac地址，使用如下的参数，否则客户端和服务器必须配置成02:00:00:00:00:00和02:00:00:00:00:01

l3fwd -l 1,2 -n 4 -- -p 0x3 --config="(0,0,1),(1,0,2)" --parse-ptype --eth-dest=0,30:fd:65:32:f0:6f --eth-dest=1,30:fd:65:32:f0:72

DPDK的EAL（Environment Abstraction Layer）参数配置用于控制和优化DPDK的运行环境。

===============================================================================

常用的EAL参数配置：

-c  <coremask>：指定DPDK应用程序将在哪些CPU核心上运行。<coremask>是一个十六进制的位掩码，每一位对应一个CPU核心。例如，使用-c 0x3参数将使DPDK应用程序在CPU核心0和1上运行。

-n  <numa>：指定DPDK应用程序将在哪个NUMA节点上运行。<numa>是一个整数，表示NUMA节点的索引。例如，使用-n 0参数将使DPDK应用程序在NUMA节点0上运行。

-l  <lcorelist>：指定DPDK应用程序将使用哪些逻辑核心（线程）。<lcorelist>是一个以逗号分隔的逻辑核心列表。例如，使用-l 0,2,4参数将使DPDK应用程序使用逻辑核心0、2和4。

--file-prefix  <prefix>：指定DPDK应用程序的文件名前缀。<prefix>是一个字符串，用于生成DPDK应用程序的日志文件和统计文件的名称。默认情况下，文件名前缀是rte。

--socket-mem  <size>：指定DPDK应用程序在每个NUMA节点上分配的内存大小。<size>是一个整数，表示以MB为单位的内存大小。例如，使用--socket-mem 1024参数将使DPDK应用程序在每个NUMA节点上分配1GB的内存。

--single-file-segments：将DPDK应用程序的内存分配在单个文件中，而不是多个文件中。这可以提高内存分配的效率。

--legacy-mem：使用传统的内存管理模式，而不是使用Huge Pages。这在某些情况下可能更容易配置和管理，但可能会导致性能下降。

常用的l3fwd参数配置：

-p  PortMask： 参数指定使用的网口，例如，假设当前有 4 个网口由 dpdk 进行管理，则 0x3 表示使用网口0和 网口1，0xf 表示使用网口0、网口1、网口2 和网口3。

-P：参数表示将所有网口设置为混杂模式，以便收到所有数据包。

--config  (port,queue,lcore)[,(port,queue,lcore)]：参数用以配置网口、队列、核之间的对应关系，例如：--config (0,0,1) 表示网口 0 （0-N）的队列 0 由核 1 （0-N）进行处理。

===============================================================================

运行结果：

$ ./examples/l3fwd/build/l3fwd -l 1-2 -n 4 -- -P -p 0x3 --config="(0,0,1),(1,0,2)"

EAL: Detected 4 lcore(s)

EAL: Detected 1 NUMA nodes

EAL: Detected shared linkage of DPDK

EAL: Multi-process socket /var/run/dpdk/rte/mp_socket

EAL: Selected IOVA mode 'PA'

EAL: Probing VFIO support...

EAL: Probe PCI driver: net_ixgbe (8086:154d) device: 0000:03:00.0 (socket 0)

EAL: Probe PCI driver: net_ixgbe (8086:154d) device: 0000:03:00.1 (socket 0)

EAL: Probe PCI driver: net_ixgbe (8086:154d) device: 0000:04:00.0 (socket 0)

EAL: Probe PCI driver: net_ixgbe (8086:154d) device: 0000:04:00.1 (socket 0)

EAL: No legacy callbacks, legacy socket not created

LPM or EM none selected, default LPM on

Initializing port 0 ... Creating queues: nb_rxq=1 nb_txq=2... Port 0 modified RSS hash function based on hardware support,requested:0xa38c configured:0x8104

 Address:A0:36:9F:30:7A:D8, Destination:02:00:00:00:00:00, Allocated mbuf pool on socket 0

LPM: Adding route 198.18.0.0 / 24 (0)

LPM: Adding route 198.18.1.0 / 24 (1)

LPM: Adding route 2001:200:: / 64 (0)

LPM: Adding route 2001:200:0:1:: / 64 (1)

txq=1,0,0 txq=2,1,0

Initializing port 1 ... Creating queues: nb_rxq=1 nb_txq=2... Port 1 modified RSS hash function based on hardware support,requested:0xa38c configured:0x8104

 Address:A0:36:9F:30:7A:DA, Destination:02:00:00:00:00:01, txq=1,0,0 txq=2,1,0

Skipping disabled port 2

Skipping disabled port 3

Initializing rx queues on lcore 1 ... rxq=0,0,0

Initializing rx queues on lcore 2 ... rxq=1,0,0

Checking link statusdone

Port 0 Link up at 10 Gbps FDX Autoneg

Port 1 Link up at 10 Gbps FDX Autoneg

L3FWD: entering main loop on lcore 1

L3FWD:  -- lcoreid=1 portid=0 rxqueueid=0

L3FWD: entering main loop on lcore 2

L3FWD:  -- lcoreid=2 portid=1 rxqueueid=0

3.DPDK 22.07-l2fwd

进入dpdk-22.07/examples/l2fwd/

编译

make

运行

./l2fwd -l 0-3 -n 4 -- -P -q 4 -p 0x3 --no-mac-updating

如果需要指定客户端服务器的mac地址，使用如下的参数

l3fwd -l 1,2 -n 4 -- -p 0x3 --config="(0,0,1),(1,0,2)" --parse-ptype --eth-dest=0,30:fd:65:32:f0:6f --eth-dest=1,30:fd:65:32:f0:72

常用的l2fwd参数配置：

p  PORTMASK：要配置的端口的十六进制位掩码

P：可选，将所有端口设置为混杂模式，以便无论 MAC 目标地址如何都接受数据包。如果没有此选项，则仅接受 MAC 目标地址设置为端口以太网地址的数据包。

q NQ：每个 lcore 的队列数（=端口）（默认为 1）

–[no-]mac-updating：启用或禁用 MAC 地址更新（默认启用），建议关闭，测试仪或者PC都可以使用自身的mac地址进行转发

–portmap=”(port,port)[,(port,port)]”：确定转发端口映射。

4.设备下电以后配置

部分配置无法保存，所以如果发生设备重启\下电等，需要对如下配置重新操作

cd dpdk-kmods/linux/igb_uio

make

modprobe uio

insmod igb_uio.ko intr_mode=legacy

Ifconfig enp1s0 down

进入目录usertools

./dpdk-devbind.py –b=igb_uio 0000:02:05.0

./dpdk-devbind.py –s

./dpdk-hugepages.py --setup 1G

不配置此参数会报错EAL参数异常

在l3fwd/build目录下

./l3fwd -l 1-2 -n 4 -- -P -p 0x3 --config="(0,0,1),(1,0,2)"

5.FAQ

1、不需要配置ubuntu系统下的网卡IP，DPDK环境下的198.18.0.0/24网段并没有绑定IP，发包设备只需要配置网关的mac地址，网关IP可以配置任何198.18.0.0/24的IP

2、报错pkg-config找不到

apt install pkg-config

3、解决：ERROR: Problem encountered: missing python module: elftools

pip install pyelftools --upgrade

pip3 install pyelftools --upgrade

4、遇到报错

Makefile:14: *** "no installation of DPDK found". Stop.

在l3fwd目录下执行

export PKG_CONFIG_PATH="/usr/local/lib64/pkgconfig/"

5、执行L3fwd的时候如果遇到找不到库librte_fib.so.22

在l3fwd/build目录下

export LD_LIBRARY_PATH=LD_LIBRARY_PATH:/usr/local/lib64/