DPDK总结一下

### Reference(文中用到的引用)


1.http://core.dpdk.org/doc/
2.https://wenku.baidu.com/view/5d24e12253ea551810a6f524ccbff121dd36c536.html




### DPDK概述


DPDK是intel的网络开发套件,是intel网卡及其他网卡的user mode驱动,可以用来开发user mode的网络APP,使用BSD-3的License。


目前使用DPDK的项目包括SPDK、OVS、NGINX、PKTGEN等。




### DPDK基本思想


DPDK定位在user mode网卡驱动套件,为了完成这个任务,包含了几个功能模块(基础+虚拟化):
  - 使用hugepage/numa/cache等方式加速计算(用于类似查找的功能);
  - 使用RTC模型的报文转发框架;
  - 基于PCIe模型的物理网卡驱动;
  - PMD的收包模式;
  - 提供基于rte_flow的流分类与多队列;
  - 硬件offload功能;
  - IO虚拟化(SRIOV、eSwitch);
  - 半虚拟化Virtio;
  - 优化virtio的vhostuser;




### 加速计算


DPDK实质是CPU代替网卡处理数据包,对于通用CPU来说,要达到专用网卡的速度,就要做一些优化。


1. 并行计算模型


并行计算效率肯定高于串行计算,DPDK中采用NUMA结构提供了cpu亲和性、片上memory等方式提供并行计算支持。


对于用户来讲很简单,就是将app绑定到被孤立出来的cpu,然后DPDK库会尽量使用片上memory,不需要用户考虑。


2. 使用hugepage避免cache miss


hugepage,也就是使用1G这样的大页,大页可以变相增加二级cache的容量,进而减少cache miss,具体参考DPDK帮助。


3. DDIO


网卡之前的工作方式是DMA到内存,然后CPU再去内存中读入cache。DDIO的方式是网卡直接将数据包DMA到cache。




### RTC模型报文转发


数据包的转发模型有pipeline、rtc两种,普通网卡采用rtc模型,DPDK采用pipeline模型。DPDK中支持这几种pipeline,每种pipeline可以运行在一个core上面,pipeline之间采用某种机制协作。


DPDK支持这几种pipeline,每种pipeline就是一个code module:packet io,flow classification,firewall,routing,metering,traffic mgmt。具体可以看官网。


网络转发算法,主要是用来在转发面处理数据包的算法,每种算法是一个code module,用的时候包含这个头文件即可。DPDK中支持exact match(DPDK中的emc*),主要用于openflow中的flow查找;LPM(最长匹配),主要用于路由查找;ACL匹配算法;报文分发算法,也就是采用worker方式处理mbuf。




### 基于PCIe模型的网卡驱动


网卡都是挂载在bus上的,linux中采用PCIe设备的概念抽象网卡这样的字符设备,DPDK中也是一样。


PCIe驱动编程可以参考<2>,DPDK中也是使用这样的框架,这样的好处是无论哪种类型的网卡,都能通过这个框架收发包。


同linux内核,DPDK中也有mbuf和mempool,不同的是linux内核只有一个(不确定,希望被纠正),DPDK中可以自己创建多个,不过一般也是一个。pool用于给多个队列使用,每个队列成为一个Queue。




### PMD的收包模式


DPDK支持pmd、中断、混合几种收包模式,但是鉴于面对大量的数据包,一般用pmd方式。


除此以外,收包的时候还支持Queue长度设置、中断加轮训混合时候的中断条件设置等。


### 基于rte_flow的流分类与多队列


intel网卡(和大部分网卡)支持收包队列的功能,也就是通过特定规则将数据包收到特定队列(也就是内存区域)。


rte_flow是DPDK封装的上述概念,目前支持kernel虚拟端口、intel网卡物理端口,其中kernel虚拟端口通过TC实现,物理网卡通过driver实现。通过ethtool工具也能实现类似的功能。


### 硬件offload功能


目前有几种硬件offload功能,包括TCP/UDP checksum等,可以通过`ethtool -s`命令查看;OVS flow offload,这个是最新开发的高级功能。


DPDK中通过端口flags实现端口checksum等功能的offload,通过rte_flow实现ovs offload。在OVS中,通过netdevice function中定义的offload api,调用rte_flow api实现offload功能。


### IO虚拟化


SRIOV是IO虚拟化的一个规范,基本思想是PF分出VF,提供灵活增减的端口。eSwitch是实现SRIOV功能的一种底层实现,几本原理就是在网卡中增加类似FDB转发的功能。


DPDK对intel网卡支持SRIOV功能,通过driver实现。需要注意一个问题是PF、VF通过mac进行redirect,所以PF适合给host使用,VF适合给VM使用。


### 半虚拟化virtio


这个与DPDK关系不大,主要是qemu为代表的虚拟机实现虚拟网卡设备的一种方式。半虚拟化规范架构是前段加后端,前段可以理解为VM中的网卡驱动,后端就是qemu中vhost。


### vhostuser


qemu的vhost有好几种实现,都是通过KVM实现,即前段将数据包给KVM,KVM转发给qemu网络驱动,qemu网络驱动转发给kernel或者OVS。

 

上述步骤有几种实现方式,一种是前端通过KVM api发给KVM,KVM通过TAP端口发送给qemu,qemu再通过TAP端口发送给kernel或者OVS;一种是前端通过KVM api发给KVM,KVM通过TAP端口发送给qemu负责网络的内核module(vhost),vhost再通过TAP端口发送给kernel或者OVS;DPDK提供的实现是前端通过KVM api发给KVM,KVM通过TAP端口发送给qemu负责网络的内核module(vhost),而DPDK的vhostuser端口与qemu的vhost module是共享内存的方式通信,免去了数据的copy。

 

### TBD:18.08 feature 分析

©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值