【协议森林】基于DPDK的F-Stack原理、基本使用及TCP通信

1.简述

随着网卡性能的飞速发展，10GE 网卡已经大规模普及，25GE/40GE/100GE 网卡也在逐步推广，linux 内核在网络数据包处理上的瓶颈也越发明显，在传统的内核协议栈中，网卡通过硬件中断通知协议栈有新的数据包到达，内核的网卡驱动程序负责处理这个硬件中断，将数据包从网卡队列拷贝到内核开辟的缓冲区中（DMA），然后数据包经过一系列的协议处理流程，最后送到用户程序指定的缓冲区中。在这个过程中中断处理、内存拷贝、系统调用（锁、软中断、上下文切换）等严重影响了网络数据包的处理能力。操作系统的对应用程序和数据包处理的调度可能跨 CPU 调度，局部性失效进一步影响网络性能。

而互联网的快速发展亟需高性能的网络处理能力，kernel bypass 方案也越来被人所接受，市场上也出现了多种类似技术，如 DPDK、NETMAP、PF_RING 等，其核心思想就是内核只用来处理控制流，所有数据流相关操作都在用户态进行处理，从而规避内核的包拷贝、线程调度、系统调用、中断等性能瓶颈，并辅以各种性能调优手段，从而达到更高的性能。其中 DPDK 因为更彻底的脱离内核调度以及活跃的社区支持从而得到了更广泛的使用。

2.F-Stack 开发框架

F-Stack 是一款兼顾高性能、易用性和通用性的网络开发框架，传统上 DPDK 大多用于 SDN、NFV、DNS 等简单的应用场景下，对于复杂的 TCP 协议栈上的七层应用很少，市面上已出现了部分用户态协议栈，如 mTCP、Mirage、lwIP、NUSE 等，也有用户态的编程框架，如 SeaStar 等，但统一的特点是应用程序接入门槛较高，不易于使用。
F-Stack 使用纯 C 实现，充当胶水粘合了 DPDK、FreeBSD 用户态协议栈、Posix API、微线程框架和上层应用（Nginx、Redis），使绝大部分的网络应用可以通过直接修改配置或替换系统的网络接口即可接入 F-Stack，从而获得更高的网络性能。
在实践过程中，发现F-Stack对ARM体系兼容性不好，关于CPU方面的编译一直报错，本人并未实践成功。

F-Stack 总体架构如上图所示，具有以下特点:

• 使用多进程无共享架构。
• 各进程绑定独立的网卡队列和 CPU，请求通过设置网卡 RSS 散落到各进程进行处理。
• 各进程拥有独立的协议栈、PCB 表等资源。
• 每个 NUMA 节点使用独立的内存池。
• 进程间通信通过无锁环形队列（rte_ring）进行。
• 使用 DPDK 作为网络 I/O 模块，将数据包从网卡直接接收到用户态。
• 移植 FreeBSD Release 11.0.1 协议栈到用户态并与 DPDK 对接。

代码地址：github-fstack
官网论坛：腾讯云

3.快速开始

 # clone F-Stack
  mkdir -p /data/f-stack
  git clone https://github.com/F-Stack/f-stack.git /data/f-stack

  # Install libnuma-dev
  yum install numactl-devel          # on Centos
  sudo apt-get install libnuma-dev  # on Ubuntu

  cd f-stack
  # Compile DPDK，此处注意meson版本
  cd dpdk/
  meson -Denable_kmods=true build
  ninja -C build
  ninja -C build install

 # Set hugepage
 # single-node system
 echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

  # or NUMA
  echo 1024 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
  echo 1024 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages

  # Using Hugepage with the DPDK
  mkdir /mnt/huge
  mount -t hugetlbfs nodev /mnt/huge

  # Close ASLR; it is necessary in multiple process
  echo 0 > /proc/sys/kernel/randomize_va_space

  # Install python for running DPDK python scripts
  sudo apt install python # On ubuntu

  # Offload NIC
  modprobe uio
  insmod /data/f-stack/dpdk/build/kernel/linux/igb_uio/igb_uio.ko
  insmod /data/f-stack/dpdk/build/kernel/linux/kni/rte_kni.ko carrier=on # carrier=on is necessary, otherwise need to be up `veth0` via `echo 1 > /sys/class/net/veth0/carrier`
  python dpdk-devbind.py --status
  ifconfig eth0 down
  python dpdk-devbind.py --bind=igb_uio eth0 # assuming that use 10GE NIC and eth0

  # On Ubuntu, use gawk instead of the default mawk.
  #sudo apt-get install gawk  # or execute `sudo update-alternatives --config awk` to choose gawk.

  # Install dependencies for F-Stack
  sudo apt install gcc make libssl-dev # On ubuntu

  # Upgrade pkg-config while version < 0.28
  #cd /data
  #wget https://pkg-config.freedesktop.org/releases/pkg-config-0.29.2.tar.gz
  #tar xzvf pkg-config-0.29.2.tar.gz
  #cd pkg-config-0.29.2
  #./configure --with-internal-glib
  #make
  #make install
  #mv /usr/bin/pkg-config /usr/bin/pkg-config.bak
  #ln -s /usr/local/bin/pkg-config /usr/bin/pkg-config

  # Compile F-Stack
  export FF_PATH=/data/f-stack
  export PKG_CONFIG_PATH=/usr/lib64/pkgconfig:/usr/local/lib64/pkgconfig:/usr/lib/pkgconfig
  cd /data/f-stack/lib/
  make

  # Install F-STACK
  # libfstack.a will be installed to /usr/local/lib
  # ff_*.h will be installed to /usr/local/include
  # start.sh will be installed to /usr/local/bin/ff_start
  # config.ini will be installed to /etc/f-stack.conf
  make install

4.具体过程

• 编译dpkp过程中注意meson版本，版本过低，编译不起来，需要手动安装meson（>meson-0.47.1）。

ln meson.py -srf /usr/local/bin/meson.py

• 本篇文章基于x86架构操作，ARM操作编译会有一些问题。
  
  
  

5.TCPServer

主要函数ff_init、ff_accept、ff_write、ff_read、ff_bind、ff_socket等。

#include <stdio.h>
#include <stdlib.h>
#include <stdint.h>
#include <string.h>
#include <strings.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <errno.h>
#include <assert.h>

#include "ff_config.h"
#include "ff_api.h"

#define MAX_EVENTS 512

/* kevent set */
struct kevent kevSet;
/* events */
struct kevent events[MAX_EVENTS];
/* kq */
int kq;
int sockfd;

char html[] = 
"HTTP/1.1 200 OK\r\n"
"Server: F-Stack\r\n"
"Date: Sat, 25 Feb 2017 09:26:33 GMT\r\n"
"Content-Type: text/html\r\n"
"Content-Length: 438\r\n"
"Last-Modified: Tue, 21 Feb 2017 09:44:03 GMT\r\n"
"Connection: keep-alive\r\n"
"Accept-Ranges: bytes\r\n"
"\r\n"
"<!DOCTYPE html>\r\n"
"<html>\r\n"
"<head>\r\n"
"<title>Welcome to F-Stack!</title>\r\n"
"<style>\r\n"
"    body {  \r\n"
"        width: 35em;\r\n"
"        margin: 0 auto; \r\n"
"        font-family: Tahoma, Verdana, Arial, sans-serif;\r\n"
"    }\r\n"
"</style>\r\n"
"</head>\r\n"
"<body>\r\n"
"<h1>Welcome to F-Stack!</h1>\r\n"
"\r\n"
"<p>For online documentation and support please refer to\r\n"
"<a href=\"http://F-Stack.org/\">F-Stack.org</a>.<br/>\r\n"
"\r\n"
"<p><em>Thank you for using F-Stack.</em></p>\r\n"
"</body>\r\n"
"</html>";

int loop(void *arg)
{
    /* Wait for events to happen */
    unsigned nevents = ff_kevent(kq, NULL, 0, events, MAX_EVENTS, NULL);
    unsigned i;

    for (i = 0; i < nevents; ++i) {
        struct kevent event = events[i];
        int clientfd = (int)event.ident;

        /* Handle disconnect */
        if (event.flags & EV_EOF) {
            /* Simply close socket */
            ff_close(clientfd);
        } else if (clientfd == sockfd) {
            int available = (int)event.data;
            do {
                int nclientfd = ff_accept(clientfd, NULL, NULL);
                if (nclientfd < 0) {
                    printf("ff_accept failed:%d, %s\n", errno,
                        strerror(errno));
                    break;
                }

                /* Add to event list */
                EV_SET(&kevSet, nclientfd, EVFILT_READ, EV_ADD, 0, 0, NULL);

                if(ff_kevent(kq, &kevSet, 1, NULL, 0, NULL) < 0) {
                    printf("ff_kevent error:%d, %s\n", errno,
                        strerror(errno));
                    return -1;
                }

                available--;
            } while (available);
        } else if (event.filter == EVFILT_READ) {
            char buf[256];
            size_t readlen = ff_read(clientfd, buf, sizeof(buf));

            ff_write(clientfd, html, sizeof(html) - 1);
        } else {
            printf("unknown event: %8.8X\n", event.flags);
        }
    }
}

int main(int argc, char * argv[])
{
    ff_init(argc, argv);

    assert((kq = ff_kqueue()) > 0);

    sockfd = ff_socket(AF_INET, SOCK_STREAM, 0);
    if (sockfd < 0) {
        printf("ff_socket failed, sockfd:%d, errno:%d, %s\n", sockfd, errno, strerror(errno));
        exit(1);
    }

    struct sockaddr_in my_addr;
    bzero(&my_addr, sizeof(my_addr));
    my_addr.sin_family = AF_INET;
    my_addr.sin_port = htons(80);
    my_addr.sin_addr.s_addr = htonl(INADDR_ANY);

    int ret = ff_bind(sockfd, (struct linux_sockaddr *)&my_addr, sizeof(my_addr));
    if (ret < 0) {
        printf("ff_bind failed, sockfd:%d, errno:%d, %s\n", sockfd, errno, strerror(errno));
        exit(1);
    }

     ret = ff_listen(sockfd, MAX_EVENTS);
    if (ret < 0) {
        printf("ff_listen failed, sockfd:%d, errno:%d, %s\n", sockfd, errno, strerror(errno));
        exit(1);
    }

    EV_SET(&kevSet, sockfd, EVFILT_READ, EV_ADD, 0, MAX_EVENTS, NULL);
    /* Update kqueue */
    ff_kevent(kq, &kevSet, 1, NULL, 0, NULL);

    ff_run(loop, NULL);
    return 0;
}

编译出来，并加载配置文件config.ini，就可以运行。

6.参与讨论