VMware_ubuntu_vpp_dpdk安装运行

已于 2023-09-27 16:28:12 修改
阅读量1.2k 收藏 10
点赞数 1
分类专栏： vpp 文章标签： ubuntu git github
于 2023-04-13 11:25:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wendy1226/article/details/130126314
版权

ubuntu系统运行2101版vpp

安装虚拟机(VMware或者VirtualBox均可)，只添加一张NAT模式的网卡，用来访问外网

vpp编译安装运行
  1. 下载vpp源码
git clone https://github.com/FDio/vpp.git fdio-vpp
cd fdio-vpp
  1. 查看分支，切换到所需分支(以2101版本为例)
git branch -a
git checkout -b stable_2101 remotes/origin/stable/2101
  1. 编译vpp源码
# 首次编译可执行vpp自带的脚本，所有环境都会准备好
./extras/vagrant/build.sh

注意：在编译时报错，可能是机器内存不够，4G内存时会报一个ipsec的错误，虚拟机分配了8G内存就没有报错了

上述命令执行完毕后，vpp 配置文件目录 /etc/vpp/startup.conf

  1. 启动vpp service vpp start，查看vpp运行状态 systemctl status vpp

  2. 虚拟机添加两张主机模式的网卡

  3. 加载vfio-pci驱动 modprobe vfio-pci

  4. 重启vpp生效，命令： service vpp restart

vpp+dpdk环境部署完毕

PS. 执行make test 可以跑vpp自带的全部测试项目，跑之前需将原有的vpp服务停掉service vpp stop

最开始搭建环境时，对一些步骤不熟悉，导致走了许多弯路，也碰到了各种问题，下面是一些问题合集，基本的坑全在下面了。
virtualbox 开启VX-t

因虚拟机这一项勾选框是灰色的，可采用windows命令行开启

在这里插入图片描述
进到VirtualBox的安装目录，执行如下所示命令：

VBoxManage.exe list vms
>>> "ubuntu-dsk" {27c2cecb-0e39-4dcf-926f-a92e66583ac6}

VBoxManage.exe modifyvm "ubuntu-dsk" --nested-hw-virt on
virtualbox添加两张网卡
  • NAT模式 - 用来连接外网，这个地址主机是ping不通的
  • Host-Only(主机模式) - 主机访问虚拟机，samba访问的地址
虚拟机设置与安装

虚拟机：VMware 16.1.1 (SVN 开发工具)
系统版本：ubuntu-18.04.5-live-server-amd64.iso

注意：ubuntu-server安装需要断开网络连接，否则安装后期会一直报错

虚拟机网络模式设置

可参考文档说明，几种网络模式区别，进行选择
参考文档：https://blog.csdn.net/fancyop/article/details/90461379

注意：在虚拟机安装前网卡如已选择多张，在安装时会分配好网络配置，无需手动修改，如后期根据需要额外添加网卡，则需手动配置网络

添加两张网卡
  • NAT模式 - 用来连接外网
    • 对应宿主机网络适配器VMnet8
    • 宿主机上VMnet8配置IP地址，即可控制虚拟机IP地址自动分配的段
  • Host-Only(主机模式)
    • 对应宿主机网络适配器VMnet1
Ubuntu server 18.04网络配置

新增一张网卡后，开机，如需进行地址分配，可参考如下操作

# yaml文件名字根据实际情况
sudo vi /etc/netplan/00-installer-config.yaml

# 默认有一个网卡配置，双网卡需再新增一个
# 动态分配IP
network:
  ethernets:
    # 原本存在的
    ens33:
      dhcp4: true
    # 新增的
    ens38:
       dhcp4: true
  version: 2

# 配置静态IP
network:
  ethernets:
    # 原本存在的
    ens33:
      dhcp4: true
    # 新增的
    ens38:
       addresses: [1.1.1.1/24]
       dhcp4: false
  version: 2

修改完毕后，执行如下两步生效

sudo netplan apply
reboot

VPP编译安装运行

git clone https://github.com/FDio/vpp.git fdio-vpp
cd fdio-vpp

# 查看分支，切换到所需分支
git branch -a

#此处使用的是2101分支
git checkout -b stable_2101 remotes/origin/stable/2101

#首次编译可执行vpp自带的脚本，可将vpp环境完全部署好
./extras/vagrant/build.sh

也可以按步执行如下命令

# 分步执行的命令
make install-dep
make install-ext-deps

#编译release版本
make build-release

#编译debug版本
make build

# build deb包
make pkg-deb

# 安装 vpp packages
dpkg -i build-root/*.deb

# 上一步可能报错，报错 vpp-api-python 不成功
# 使用 apt --fix-broken install即可解决

release版本编译成功后，vpp配置文件目录
fdio-vpp/build-root/install-vpp-native/vpp/etc/vpp/

vpp 可执行文件目录
fdio-vpp/build-root/install-vpp-native/vpp/bin/

debug版本路径：
fdio-vpp/build-root/install-vpp_debug-native/vpp/

运行vpp几种方法

对应版本目录下运行
# release版本
cd fdio-vpp/build-root/install-vpp-native/vpp/bin/
./vpp -c ../etc/vpp/startup.conf

# 进入vpp cli命令行
cd fdio-vpp/build-root/install-vpp-native/vpp/bin/
./vppctl
make命令行运行
# 方便起见，可将配置文件拷贝到指定目录，如/etc/vpp/
mkdir -p /etc/vpp/
cp fdio-vpp/build-root/install-vpp-native/vpp/etc/vpp/startup.conf /etc/vpp/

# 在vpp源码所在目录执行
# release 版本运行， 且指定startup.conf文件路径
make run-release STARTUP_CONF=/etc/vpp/startup.conf

#debug 版本
make run STARTUP_CONF=/etc/vpp/startup.conf

如不指定配置文件，执行 make run 会执行进入 vpp cli命令行

进行系统配置, 启动vpp

注：./extras/vagrant/build.sh 这一步已经把如下操作执行完了

mkdir -p /etc/vpp
cp build-root/install-vpp-native/vpp/etc/vpp/startup.conf /etc/vpp/
cp build-root/install-vpp-native/vpp/etc/sysctl.d/80-vpp.conf /etc/sysctl.d/

# 启动 vpp
service vpp start

# 查看vpp启动状态
systemctl status vpp.service

# 根据配置文件不同，不同方式进入cli 命令行
#通过telnet 0 5002进入vpp cli命令行
cli-listen localhost:5002

# 执行vppctl进行命令行
cli-listen /run/vpp/cli.sock
配置文件修改
unix {
  nodaemon
  log /var/log/vpp/vpp.log
  full-coredump
  #cli-listen /run/vpp/cli.sock
  cli-listen localhost:5002    //新增，可通过telnet 0 5002进入vpp cli命令行
  gid vpp

  ## run vpp in the interactive mode
  # interactive

  ## do not use colors in terminal output
  # nocolor

  ## do not display banner
  # nobanner
}
若启动vpp报如下错误

执行
./vpp -c ../etc/vpp/startup.conf or make run-release STARTUP_CONF=/etc/vpp/startup.conf

报错：api_segment_config: group vpp does not exist

解决办法有两种：

  1. 修改配置文件, 注释掉gid vpp
  2. 添加用户组，groupadd -f -r vpp
vpp make test

跑make test 时，要把运行中的vpp进程杀掉
如果在开始download一些.whl文件时报一大堆错误，可能因为网络原因，再重新跑一次可能就好了

dpdk编译安装运行 (vpp编译会包含dpdk，不必另外编译)

查看机器硬件是否支持dpdk：https://core.dpdk.org/supported/

VPP编译后，会自动下载dpdk的压缩包，目录:fdio-vpp/build/external/downloads

# 解压
xz -d dpdk-20.11.tar.xz
tar -xvf dpdk-20.11.tar

cd dpdk-20.11/
meson build
cd build
ninja
# 需 root权限执行
ninja install

# 检查是否安装成功
pkg-config --modversion libdpdk
20.11.0

注意：

  • dpdk编译对meson版本有要求，meson_version: '>= 0.47.1'，如果版本不符合要求会有报错提示
  • 系统安装meson方法 sudo apt-get install meson，使用Ubuntu自带的源下载的版本可能比较旧，不符合要求

下载meson最新版本常用方法

sudo apt install python3-pip
pip3 install --user meson

# 安装完成后发现 meson的版本还是旧的版本，因为 pip安装后，命令默认路径是在~/.local/bin/
# 可通过修改环境变量的查找路径顺序解决
vi ~/.bashrc

# 最后添加一行
`export PATH=~/.local/bin:$PATH`

source ~/.bashrc #使修改生效

如果没有ninja的话，执行如下命令

git clone https://github.com/ninja-build/ninja.git
cd ninja
./configure.py --bootstrap
sudo cp ./ninja /usr/bin/

ninja install报错：

Traceback (most recent call last):
  File "/home/name/.local/bin/meson", line 7, in <module>
    from mesonbuild.mesonmain import main
ModuleNotFoundError: No module named 'mesonbuild'
FAILED: meson-install
/home/name/.local/bin/meson install --no-rebuild
ninja: build stopped: subcommand failed.

sudo ninja install执行

加载dpdk驱动与手动绑定网卡

加载vfio驱动
modprobe vfio-pci

查看是否加载成功

lsmod |grep vfio

vfio_pci               45056  0
vfio_virqfd            16384  1 vfio_pci
vfio_iommu_type1       24576  0
vfio                   28672  2 vfio_iommu_type1,vfio_pci
irqbypass              16384  2 vfio_pci,kvm

查看要绑定网卡的bus info
ethtool -i ens01
=> bus-info: 0000:02:06.0

down掉要绑定的网卡
ifconfig ens01 down

使用dpdk提供的tool
路径：dpdk-20.11/usertools/

查看网卡状态
./dpdk-devbind.py -s

未绑定前
在这里插入图片描述
手动进行绑定，vpp启动时会自动绑定down掉的网卡
./dpdk-devbind.py -b vfio-pci 0000:02:06.0

绑定后状态
在这里插入图片描述
如果手动执行绑定命令时报如下错误：
1、Warning: routing table indicates that interface 0000:02:06.0 is active. Not modifying
=> 绑定网卡没有down掉

2、

Error: bind failed for 0000:02:06.0 - Cannot bind to driver vfio-pci
Error: unbind failed for 0000:02:06.0 - Cannot open /sys/bus/pci/drivers//unbind

# 执行dmesg |tail 报如下错误
[  550.780076] vfio-pci: probe of 0000:02:06.0 failed with error -22
[  550.780119] vfio-pci: probe of 0000:02:06.0 failed with error -22

=> VFIO使用依赖于iommu，几个检查点

  • Linix kernel version >= 3.6.0
  • 内核和BIOS必须支持并配置为使用IO virtualization（例如Intel®VT-d）
  • 使能iommu

解决办法

# 使能 iommu
# 修改/etc/default/grub文件，在GRUB_CMDLINE_LINUX中加入如下配置:
iommu=pt intel_iommu=on

sudo update-grub

reboot

如果修改后发现还是报相同的错误，在虚拟机环境下，是由于虚拟机配置中，虚拟化和iommu选项没有勾选
关机，然后勾选如下图所示选项
在这里插入图片描述
开机，重新加载驱动，执行绑定网卡命令即可成功

查看是否支持VT-d或VT-d是否成功打开

主板支持Intel® VT-x、VT-d
dmesg | grep -e DMAR -e IOMMU

内核支持Intel® VT-x、VT-d

cat /proc/cmdline | grep iommu=pt
cat /proc/cmdline | grep intel_iommu=on

参考文档：https://blog.csdn.net/linggang_123/article/details/114394339

修改vpp配置文件，使能dpdk

将注释部分放开，并且修改为正确的PCI address

dpdk {
	## Change default settings for all interfaces
	#dev default {
		## Number of receive queues, enables RSS
		## Default is 1
		#num-rx-queues 3

		......
	#}

	## Whitelist specific interface by specifying PCI address
	#dev 0000:02:06.0
  .......
	## Change UIO driver used by VPP, Options are: igb_uio, vfio-pci,
	## uio_pci_generic or auto (default)
	#uio-driver vfio-pci
  ......
}
vpp+dpdk遇到的问题(手动使能iommu导致的，依开头步骤操作即可正常使用)

以上操作全部正确执行，进入vpp cli命令行，show interface没有绑定的网卡

show logging显示信息如下

notice     dpdk           EAL: Detected 2 lcore(s)
notice     dpdk           EAL: Detected 1 NUMA nodes
notice     dpdk           EAL: Selected IOVA mode 'VA'
notice     dpdk           EAL: No available hugepages reported in hugepages-1048576kB
notice     dpdk           EAL: No free hugepages reported in hugepages-1048576kB
notice     dpdk           EAL: No available hugepages reported in hugepages-1048576kB
notice     dpdk           EAL: Probing VFIO support...
notice     dpdk           EAL: VFIO support initialized
notice     dpdk           EAL: WARNING! Base virtual address hint (0xa80001000 != 0x7f2b80000000) not respected!
notice     dpdk           EAL:    This may cause issues with mapping memory into secondary processes
notice     dpdk           EAL: WARNING! Base virtual address hint (0xec0c61000 != 0x7f277fe00000) not respected!
notice     dpdk           EAL:    This may cause issues with mapping memory into secondary processes
notice     dpdk           EAL: WARNING! Base virtual address hint (0xec18c2000 != 0x7f237fc00000) not respected!
notice     dpdk           EAL:    This may cause issues with mapping memory into secondary processes
notice     dpdk           EAL: WARNING! Base virtual address hint (0xec2523000 != 0x7f1f7fa00000) not respected!
notice     dpdk           EAL:    This may cause issues with mapping memory into secondary processes
notice     dpdk           EAL:   Invalid NUMA socket, default to 0
notice  dpdk EAL:   0000:02:02.0 VFIO group is not viable! Not all devices in IOMMU group bound to VFIO or unbound
notice     dpdk           EAL: Requested device 0000:02:02.0 cannot be used
notice     dpdk           EAL:   Invalid NUMA socket, default to 0
notice  dpdk  EAL:   0000:02:03.0 VFIO group is not viable! Not all devices in IOMMU group bound to VFIO or unbound
notice     dpdk           EAL: Requested device 0000:02:03.0 cannot be used
notice     dpdk           EAL: Bus (pci) probe failed.

报错信息里有这么一句，0000:02:02.0 VFIO group is not viable! Not all devices in IOMMU group bound to VFIO or unbound，网上文档介绍是由于这个iommu group里其他device没有绑定vfio驱动，根据网上介绍，做了如下尝试

设备所在iommu_group的所有设备绑定vfio驱动

注意：此方式有问题，因所有网卡都在一个iommu group中，与vfio驱动绑定后，dpdk就找不到网卡设备了

加载vfio-pci驱动
modprobe vfio-pci

查看网卡设备所属iommu group
ll /sys/bus/pci/devices/0000\:02\:03.0/

=> iommu_group -> ../../../../kernel/iommu_groups/5/

查看设备所在iommu_group的所有设备
ls /sys/kernel/iommu_groups/5/devices/

将设备与对应的驱动解绑
echo 0000:02:01.0 |sudo tee /sys/bus/pci/devices/0000:02:01.0/driver/unbind

查看设备的Vendor和DeviceID
lspci -n -s 0000:02:01.0
=> 02:01.0 0200: 8086:100f (rev 01)

将设备绑定到vfio-pci module
echo 8086 100f |sudo tee /sys/bus/pci/drivers/vfio-pci/new_id

查看是否绑定成功,如果绑定成功,/dev/vfio目录下会出现该device所属的iommu_group号
ls /dev/vfio
=> 5 vfio

启动vpp, show logging 显示DPDK drivers found no Ethernet devices...

另一种绑定网卡方式(启用vfio，禁用iommu)

如果之前使能了iommu，在/etc/default/grub中要移除掉

关闭计划用dpdk接管的网卡接口
ifconfig ens35 down

查询网卡的pci端口号
lspci |grep Ethernet

安装NIC网卡驱动模块并启动非安全NOIOMMU模式
modprobe vfio-pci
echo Y | sudo tee /sys/module/vfio/parameters/enable_unsafe_noiommu_mode

注意：机器重启，重新加载驱动，enable_unsafe_noiommu_mode为N

dpdk绑定网卡
./dpdk-devbind.py -b vfio-pci 0000:02:03.0

这种方式可以成功

zszqbfb
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DirectFB+GTK交叉编译
05-07
DirectFB GTK 交叉编译 编译平台：x86、Ubuntu-10.04 目标平台：SOC3210 交叉编译工具链：gcc-3.4.6(mipsel)
STM32_FSMC.rar_FSMC波形_stm32 求VPP_波形整合
07-15
显示1kz到30khz左右波形，显示vpp在0-3.3v之间，（本例程是基于神舟开发板编写，整合神舟的字符显示的不足之处）
【DPDK】Ubuntu系统下DPDK环境搭建指南
最新发布
m0_68678128的博客
02-29 1274
dpdk的源代码中有很多例子程序，都放在example目录中，其中有个最简单的程序helloworld，进入example/helloworld中，直接make，可以编译出helloworld程序。igb_uio模块加载成功后，我们选择49绑定igb_uio模块到eth0，输入PCI地址：0000:03:00:0，将网卡绑定到igb_uio模块.由于DPDK各版本之间差异较大,编译过程以实际情况为准,此处演示版本为。通过上述操作可以知道多队列网卡为:eth0。(此处虚拟机核心数为8)(修改为自己的路径)
ModuleNotFoundError: No module named ‘...’：报错解决方案
qq_41413211的博客
09-26 4万+
那要怎么知道正确的规范是什么？代码一开始是写import evaluate...，当改成from evaluate import inf时，可以看到系统提示Retina这个名字，于是改成上面打勾的格式，测试一下，果然没错。这个‘ ... ’就是包的名字，这时候可以在对应的环境里使用pip install安装对应的包，具体怎么安装参考我的环境配置博客。2.import时规范不对。1.module包没安装。
vpp与dpdk的关系
growdu的网络博客
12-29 4623
vpp与dpdk的关系 dpdk作为vpp的一个插件，主要用来从网卡收发包。 vpp使用如下命令参数初始化dpdk eal。 EAL init args: -c a -n 1 --in-memory --huge-dir /mnt/hugepages --no-pci --proc-type primary --file-prefix vpp --master-lcore 1 dpdk初始化流程 读取配置 dpdk_config 初始化库 dpdk_lib_init 注册节点 输入节点 dpdk_
DPDK 学习笔记 一：基于ubuntu22搭建DPDK环境
OnlyLove_的博客
03-19 2352
【代码】DPDK 学习笔记 一：基于ubuntu22搭建DPDK环境。
directfb2 2.0.0版本, 编译问题汇总
osoon的专栏
10-13 1841
directfb2编译问题
DPDK VPP简单入门及源码plugin实例分析
zhpCSDN921011的博客
05-09 6857
DPDK VPP简单入门及源码plugin实例分析
【Matter】基于Ubuntu 22.04 交叉编译chip-tool
物联网IOT
08-02 1735
比较清晰的展示目录结构，帮助理解。基本分析了下SDK的编译，因为matter协议可以理解为跨平台的应用，所以编译目录结构以及功能上进行了模块话处理，可以通过import 导入一个文件变量，类似于C语言中的include 函数，而且定义了template，类似于C语言中的函数，可以细化管理整个编译命令。以connectedhomeip 作为主目录，编译的入口是 ./build/coinfig/BUILDCONFIG.gn，这个是GN编译框架规定的，可以参照最简单的GN编译理解，框架是一样的。
用户级协议和框架：DPDK、SPDK和VPP的业务场景和发展趋势
统信软件的博客
09-12 1337
在当今数字化世界中，网络通信和存储技术一直是不可或缺的要素，特别是在云计算、边缘计算和物联网等领域。传统的内核级别协议和框架在某些场景下已经显得不够灵活和高效。为了满足更高的性能、更低的延迟和更大的可扩展性需求，用户级别的协议和框架开始崭露头角。
ubuntu安装dpdk
weixin_38646896的博客
02-17 763
ubuntu安装dpdk
ubuntu20.04编译生成的vpp包以及依赖包
12-08
ubuntu20.04编译生成的vpp包以及依赖包，可以实现离线安装
snat.rar_JIRZ_SNAT实现方法_VQW_vpp feature snat
09-21
SNAT实现方法output_feature_interfaces
ubuntu18.04编译生成的vpp包以及依赖包
12-08
ubuntu18.04编译生成的vpp包以及依赖包，可以实现离线安装vpp
TB_SaveData.vpp
08-26
TB_SaveData.vpp
Centos本地安装meson，报错 ModuleNotFoundError: No module named ‘msvcrt‘
RainingCostaRiga的博客
10-10 4120
Centos本地安装meson
Ubuntu 中安装DPDK
weixin_40209911的博客
10-30 2292
一、先安装DPDK的依赖库 1.1、安装 meson 参考：ubuntu上安装meson & 如何使用meson编译C代码 安装其他依赖库： build-essential python3.5 or later ninja （建议使用pip3安装最新版本,eg: pip3 install ninja） pyelftools（0.22+, apt install python3-pyelftools） libnuma-dev 如果安装完之后，提示找不到工具，则创建软连接到 /usr/
已解决ModuleNotFoundError: No module named
热门推荐
03-28 12万+
ModuleNotFoundError通常是由于缺少相关的Python模块导致的。
VPP使用DPDK纳管主机网卡
衡水铁头哥的博客
12-27 1132
正文共：888 字 24 图，预估阅读时间：1 分钟我们之前安装的VPP版本是20.09（安装一个VPP 20.09），现在看官网版本已经更新到22.06.0了。我们先用命令yum update vpp -y看一下YUM仓库里面更新版本了没有。确认一下。确实，仓库里面最新版本还是20.09，那就还用这个版本吧。在DPDK官网，关于部署有相关文档，但是没有和VPP对应的20.09这个版本，所以我选择...
m_EditFloatVPP = stcHead.Vpp;
06-10
这是一行代码，其中 m_EditFloatVPP 和 stcHead.Vpp 都是变量或属性的名称。代码的作用是将 stcHead 结构体中的 Vpp 属性值赋值给 m_EditFloatVPP 变量。这里的 stcHead 可能是一个结构体或类的对象，Vpp 可能是该结构体或类中的一个属性或成员变量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值