DPDK-网络收发包平台优化及配置优化

0x01 缘由

     最近产品中在做高效的数据包处理，当在实际场景部署时对硬件的优化也有涉及，主要设计网卡、逻辑核绑定、内存分配等。下面从DPDK去学习一些经验。同时这些优化，也可以用于其他高并发服务器优化上。

0x02 DPDK

     DPDK本身对性能做了很多优化，但实际上要在某个平台上抛出最优的性能也不是一件容易的事情，这其中就设计硬件软件各个方面的配置和注意事项。

     硬件及软件平台的配置或者参数对性能的影响可能是巨大的，DPDK本身就是为了充分地碗蕨硬件的潜能和减少不必要的运算。本质上来讲，硬件系统决定了包处理的可能的最好性能，最主要包含但不仅限于以下几项硬件的参数：CPU，主板所使用的外围芯片（例如Intel的南桥北桥芯片），PCIe，内存控制其和内存芯片，网卡。单是怎么最大限度地发挥这些硬件的性能，怎样取得最好的包处理性能，上述硬件的参数和配置就显得尤为重要。所以，一开始不同的硬件的选择是最重要的一步，然后就是硬件的物理连接和布局（这里主要是内存条的布局和网卡的布局）。

     软件平台的配置对能充分发挥硬件的性能也是同样关键。主要包含但不仅限于BIOS的固件版本，BIOS的选项配置，操作系统的选择和内核版本，以及编译器的版本。对CPU插口上的物理核（或者逻辑核），同样对最终的包处理的性能是很重要的。所以，硬件系统决定了包处理理论的最大性能，而硬件系统的连接和布局，以及硬件系统的配置和选择使用，软件系统的配置，则决定了最终实际能达到的最好性能。

0x03 优化方向

     CPU 物理核与逻辑核的关系:

    lscpu 

     CPU性能，支持的指令集，查看CPU信息：

     cat /proc/cpuinfo

     CPU内存通道，查看内存条的容量、频率、物理布局等:

    dmidecode memory 

     PCIe接口与CPU物理处理器上，查看pci设备：   

    lspci -vvv

     查看PCIe与物理核的连接，网卡的连接：

    lspci -nn | grep Eth

    当地址大于80时，维语node1;

     CPU逻辑核隔离方式：  

   isolcpus=2,3,4,5,6
   taskset -c xxx
   cgroup

     例如：

     通过在grub中设定isolcpus内核参数可以指定哪几个CPU在系统中是孤立的,也就是说默认它们将不被使用。

 编辑vim /etc/grub.conf中在当前使用的 kernel 选项后添加 isolcpus=cpu_number [, cpu_number ,...]

    kernel /vmlinuz-2.6.32-504.8.1.el6.x86_64 ro root=/dev/mapper/VolGroup-lv_root rd_NO_LUKS.UTF-8 rd_NO_MD rd_LVM_LV=VolGroup/lv_swap

 SYSFONT=latarcyrheb-sun16 crashkernel=128M rd_LVM_LV=VolGroup/lv_root  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet isolcpus=2,3

查看中断使用率：

    cat /proc/interrupts 

0x04 总结

     以上优化方向已经实践了部分，还有部分暂未涉及，后期慢慢优化。