基于之前dpdk和qemu的文章中的操作系统版本和软件版本以及系统环境,希望将之前准备好的ovs3.1.2与dpdk20.11配合使用,创建vhostuserclient类型的端口,结果出现问题,即ovs在执行ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-init=true之后初始化dpdk失败,绞尽脑汁,尝试各种版本的ovs和dpdk,折腾了一天总算成功,特在此记录。
第一步:不同的系统可能默认include路径存在不同,导致configure时会报一些头文件的异常,我这次遇到的是rte_config.h找不到。网上没有找到相似的问题,可以根据config.log查看具体原因。这里有多个问题共存,一个是centos7.9默认头文件路径是/usr/include,我这次按照之前dpdk文章的spec是直接安装到/include目录下,导致找不到文件,因此需要再configure时带上CPPFLAGS="-I /include -I /usr/include"。之后重新configure还是会报错,走到第二步。
第二步:在ovs编译spec中需要添加--with-dpdk选项,之前百度搜索到的相关博客在使用该参数是后接dpdk安装路径,存在一定的误导,至少这个版本并不是。该版本configure配置--with-dpdk可以选择static或者shared也就是静态库和共享库。在此如果系统上存在dpdk的lib,且静态和动态库都存在时,不带static或者shared可能存在异常(找不到函数符号),这里使用了--with-dpdk=shared可以编译正常。
ps:在安装dpdk后建议使用以下两个命令查询dpdk的pc文件路径是否正确,lib是否安装正常。pkg-config --variable pc_path pkg-config,该命令查看默认获取pc文件路径,pc文件需要能被扫描到;pkg-config --modversion libdpdk,该命令正常会打印dpdk版本
第三步:执行命令./configure CPPFLAGS="-I /include -I /usr/include" --prefix=/usr/ --sysconfdir=/etc --localstatedir=/var --libdir=/usr/lib64 --enable-ssl --enable-shared --with-dpdk=shared,如果可以通过,那么就可以进入make阶段。(我这边使用的是ovs自带的spec进行编译)。
第四步:make阶段出现部分RTE宏定义不存在问题,这个需要根据实际情况看。我搜索全局没有在dpdk20.11代码中找到,百度查询无果。在ovs release文档中发现该版本已经适配了dpdk22.11,于是用该版本配合,编译可以通过。
第五步:安装dpdk和ovs进行初始化。
ovsdb-tool create /etc/openvswitch/conf.db
ovsdb-server --remote=punix:l/var/run/openvswitch/db.sock --remote=db:Open_vSwitch,Open_vSwitch,manager_options --private-key=db:Open_vSwitch,SSL,private_key --certificate=db:Open_vSwitch,SSL,certificate --bootstrap-ca-cert=db:Open_vSwitch,SSL,ca_cert --pidfile --detach
ovs-vsctl --no-wait init
ovs-vswitchd --pidfile --detach --log-file
另外需要注意,多次执行可能会导致起了多个进程,需要保证唯一;有部分残留的文件可能影响dpdk初始化,可以先删除然后重启ovs。
第六步:创建端口
ovs-vsctl add-br br0
ovs-vsctl set bridge br0 datapath_type=netdev
ovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-init=true
ovs-vsctl add-port br0 qemu-dpdk0 -- set interface qemu-dpdk0 type=dpdkvhostuserclient options:vhost-server-path="/tmp/sock0"
观察ovs-vswitchd日志出现
到此基本上没有ovs的问题了,该日志表明缺少qemu创建的sock,留到下次配合qemu再处理。