简析XDP的重定向机制

最新推荐文章于 2024-02-28 18:08:19 发布
最新推荐文章于 2024-02-28 18:08:19 发布
阅读量880 收藏 4
点赞数 1
文章标签： 网络
原文链接：https://mp.weixin.qq.com/s?__biz=MjM5NzAzMTY4NQ==&mid=2653939443&idx=1&sn=8f5ef9c835bf5a7a98c1b9f3bdf3039e&chksm=bd3b7c998a4cf58f61358cb6592f7fecbc4c9e67f2b0530cd1b310c05a6dc077aacaaa8bb632&scene=126&&sessionid=0
版权

一. XDP Socket示例解析

源码参见：https://github.com/xdp-project/xdp-tutorial/tree/master/advanced03-AF_XDP 该示例演示了如何通过BPF将网络数据包从XDP Hook点旁路到用户态的XDP Socket，解析过程中为突出重点，将只关注重点代码段，一些函数会被精简，比如：错误处理等

二. BPF 程序 af_xdp_kern.c

BPF程序是运行在内核态的一段代码，如下：

struct bpf_map_def SEC("maps") xsks_map = {
    .type = BPF_MAP_TYPE_XSKMAP,
    .key_size = sizeof(int),
    .value_size = sizeof(int),
    .max_entries = 64,  /* Assume netdev has no more than 64 queues */
};

SEC("xdp_sock")
int xdp_sock_prog(struct xdp_md *ctx)
{
    int index = ctx->rx_queue_index;

    if (bpf_map_lookup_elem(&xsks_map, &index))
        return bpf_redirect_map(&xsks_map, index, 0);
    
    return XDP_PASS;
}

  1. struct bpf_map_def SEC("maps") xsks_map： 定义了一个BPF_MAP_TYPE_XSKMAP类型的映射表，当采用SEC("maps")方式来显示定义时，将在生成的bpf目标文件的ELF格式中看到相关描述，当BPF程序被加载到内核时，会自动创建名为“xsks_map”的描述符， 用户态可通过查找“xsks_map”来获取该map的描述符，这样用户态和内核BPF程序就可以共同访问该map

  2. type = BPF_MAP_TYPE_XSKMAP：指定该map的类型，它与bpf_redirect_map() 结合使用以将收到的帧传递到指定套接字

  3. key_size = sizeof(int)，value_size = sizeof(int)：指定key，value长度

  4. 针对以上key，value需要说明一下：对于BPF_MAP_TYPE_XSKMAP类型的map，value必须是XDP socket描述符，key必须是int类型，原因在于bpf_redirect_map()的第二个参数，参见下面2.10

  5. max_entries = 64：指定map最多存储64个元素

  6. SEC("xdp_sock")：指定prog函数符号，应用层可通过查找"xdp_sock"加载该prog，并绑定到指定网卡

  7. int xdp_sock_prog(struct xdp_md *ctx)：当网卡收到数据包时，会在xdp hook点调用该函数

  8. int index = ctx->rx_queue_index： 获取该数据包来自网卡到哪个rx队列ID，ctx有许多成员，比如：网卡ID，数据帧等等

  9. if (bpf_map_lookup_elem(&xsks_map, &index))： 判断xsks_map是否存在key为index（即rx队列号）的数据，注意，这里实际上就是判断该网卡是否绑定了xdp Socket

  • bpf_redirect_map(&xsks_map, index, 0)：bpf_redirect_map函数作用就是重定向，比如：将数据重定向到某个网卡，CPU， Socket等等；当bpf_redirect_map函数的第一个参数的map类型为BPF_MAP_TYPE_XSKMAP时，则表示将数据重定向到XDP Scoket

  • bpf_redirect_map（）会查找参数1即xsks_map 中 key为index 的 value 是否存在，若存在，则检查value是否是一个XDP Scoket，并且是否绑定到了该网卡（可以绑定到任意有效队列）

综合以上，该bpf程序实现的功能就是：将收到的数据包重定向到xsks_map中指定的XDP Socket

三. 用户态程序 af_xdp_user.c

该程序实现bpf加载到网卡，创建XDP Scoket并绑定到网卡的指定队列，并通过XDP Scoket收发数据，这里仅分析xXDP Scoket相关部分

int main(int argc, char **argv)
{
    ...
    bpf_obj = load_bpf_and_xdp_attach(&cfg);
    map = bpf_object__find_map_by_name(bpf_obj, "xsks_map");
    ...
    xsks_map_fd = bpf_map__fd(map);
    ...
    umem = configure_xsk_umem(packet_buffer, packet_buffer_size);
    ...
    xsk_socket = xsk_configure_socket(&cfg, umem);
    ...
    rx_and_process(&cfg, xsk_socket);
    ...
}

static struct xsk_socket_info *xsk_configure_socket(struct config *cfg,
                            struct xsk_umem_info *umem)
{
    ...
    ret = xsk_socket__create(&xsk_info->xsk, cfg->ifname,
                 cfg->xsk_if_queue, umem->umem, &xsk_info->rx,
                 &xsk_info->tx, &xsk_cfg);
    ...

  • bpf_obj = load_bpf_and_xdp_attach(&cfg): 加载bpf程序，并绑定到网卡

  • map = bpf_object__find_map_by_name(bpf_obj, "xsks_map")： 查找bpf程序内定义的xsks_map

  • umem = configure_xsk_umem(packet_buffer, packet_buffer_size)： 为XDP Scoket准备UMEM

  • xsk_configure_socket()通过调用bpf helper函数xsk_socket__create（）创建XDP Scoket并绑定到cfg->ifname网卡的cfg->xsk_if_queue队列，默认情况下将该【cfg->xsk_if_queue， xsk_info->xsk fd】添加到xsks_map, 这样bpf程序就可以重定向到该XDP Scoket（参见2.9, 2.10), 除非指定XSK_LIBBPF_FLAGS__INHIBIT_PROG_LOAD标志

static void rx_and_process(struct config *cfg,
               struct xsk_socket_info *xsk_socket)
{
    struct pollfd fds[2];
    int ret, nfds = 1;

    memset(fds, 0, sizeof(fds));
    fds[0].fd = xsk_socket__fd(xsk_socket->xsk);
    fds[0].events = POLLIN;
    
    while(!global_exit) {
        if (cfg->xsk_poll_mode) {
            ret = poll(fds, nfds, -1);
            if (ret <= 0 || ret > 1)
                continue;
        }
        handle_receive_packets(xsk_socket);
    }
}

  • XDP Scoket也是一个文件描述符，因此可以通过poll/epoll/select来等待IO事件，需要说明的是：收/发的数据包是原始的以太网帧，因此在包处理上要麻烦一些

四. 总结

  • 以上简略分析了bpf程序如何将数据重定向到用户态程序，通过xsks_map来实现bpf与用户态程序的交互；

  • 需要说明的是，这些分析仅是梳理了浅层次的代码，实际上BPF是如何将数据读写到XDP Scoket收发缓冲区的呢？其实是通过创建共享内存并关联XDP Scoket的rx_ring，tx_ring，以及umem来实现的，后续继续分析

  • bpf程序通常都非常简单，复杂的是用户态程序，此外，BPF有非常多的技术细节，限于篇幅及主题不在此展开。

Enjoy GreatSQL :)

《深入浅出MGR》视频课程

戳此小程序即可直达B站

https://www.bilibili.com/medialist/play/1363850082?business=space_collection&business_id=343928&desc=0


文章推荐：

想看更多技术好文，点个“在看”吧！

老叶茶馆_
关注
xdp：软件包xdp允许使用Go编程语言中的XDP套接字
02-05
xdp 软件包github.com/asavie/xdp允许使用Go编程语言中的。 有关用法示例，请参阅或目录。 性能 例子/ sendudp 在Linux内核5.1.20， （因此没有本地XDP支持）千兆NIC上运行的默认UDP有效负载大小为1400字节的情况...
xdp-tools-1.2.9
最新发布
06-12
**XDP(Extreme Dataplane)工具集1.2.9版详解** XDP，全称为eXpress Data Path，是Linux内核中一个高效的数据包处理框架，它允许开发者在数据包进入或离开网络接口卡（NIC）时进行低延迟、高性能的处理。XDP工具集...
XDP的重定向工作原理
Linuxprobe18的博客
09-28 600
struct bpf_map_def SEC("maps") xsks_map​： 定义了一个BPF_MAP_TYPE_XSKMAP类型的映射表，当采用SEC("maps")方式来显示定义时，将在生成的bpf目标文件的ELF格式中看到相关描述，当BPF程序被加载到内核时，会自动创建名为“xsks_map”的描述符， 用户态可通过查找“xsks_map”来获取该map的描述符，这样用户态和内核BPF程序就可以共同访问该map。
XDP/BPF Github教程
Ray的博客
09-28 5051
参考：xdp-tutorial basic01 主要介绍了如何编写简单的xdp程序以及通过libbpf库或者iproute2将xdp程序加载到内核并将内核代码挂载到指定的网络接口上。 Simple XDP code： SEC("xdp") int xdp_prog_simple(struct xdp_md *ctx) { return XDP_PASS; } section本身的作用就是来自汇编中的声明，汇编每一段开头都有不同的声明，表示接下来这一段的内容是什么。如下图所示，BP.
kxdpgun ——AF_XDP使用的示例分析（一）
qq_45675153的博客
07-07 837
[TOC] kxdpgun ——AF_XDP使用的示例分析（一）
借助libbpf/libxdp使用AF_XDP，我们都需要做什么——以一个简单程序为例
tunmang5421的博客
12-05 3770
AF_XDP是一种Linux提供的针对高性能数据包处理进行优化的地址族协议，为了进一步的理解和熟悉，我们以一个返回IPv4 ICMP Ping报文的程序为例，看看借助libbpf/libxdp使用AF_XDP，我们都需要做什么
初学XDP记录
FXYpilot的博客
10-17 1268
本文仅作为本人初学XDP的记录，水平很低，酌情参考！
基于eBPF/XDP快速转发
04-02
eBPF（Extended Berkeley Packet Filter）是Linux内核中的一个技术，它提供了一种安全、灵活的机制来在内核中执行用户定义的程序，而无需修改内核代码。XDP（eXpress Data Path）是eBPF的一种应用，用于在网络数据包...
基于eBPF/XDP实现conntrack功能
06-19
但是 XDP 位置在进入网络栈之前，无法利用到内核栈的 conntrack 能力， Cilium 应该遇到同样的问题， 所以 Cilium 基于 eBPF 实现了 conntrack；换句话说，只要具备 Hook 能力，能拦截进出主机的每个报文，完全可以...
XDP_DDoS_protecting_osd2017.pdf
10-10
总而言之，XDP通过其高性能的处理能力、可编程的灵活性和与内核的紧密集成，为开发者提供了一种新的DDoS防护和网络数据处理机制。无论是对于传统的网络服务提供商，还是对于需要快速应对网络攻击的云计算和数据中心...
边缘网络 eBPF 超能力：eBPF map 原理与性能解析
VE_Edge的博客
01-04 3902
导读 众所周知，大型 eBPF 程序构建过程中 eBPF map 必不可少。火山引擎边缘计算在数据面也大量使用了 eBPF 及其 map 机制。如何用好 map 是 eBPF 网络编程中关键的一环，不同 map 的性能差异也较大。本文组织 eBPF map 相关的底层实现，为大家详细解析 eBPF map 的原理及性能。
libbpf 开发指南：获取bpf_object 关联的 BTF（BPF Type Format）信息与文件描述符
阿呆的隐秘角落
07-02 534
做最好的bpf教程
xdp 入门
weixin_38184628的博客
02-28 3171
xdp 全称 eXpress Data Path，是 linux ebpf 中的一个功能。ebpf 在内核中预留了一些插入点，用户可以在这些插入点插入自己的处理逻辑，当数据路过插入点时可以做一些预期的处理，具体实现方式如下：① 用户编写数据处理代码，也就是对于路过这个插入点的数据想做什么处理② 将代码编译③ 将编译好的目标文件安装到插入点安装之后，数据路过插入点时便会被安装的代码处理。插入点的处理逻辑就像一些路口的收费站，不同身份的车辆通过收费站的时候，可能需要做不同的事情。
libbpf-bootstrap开发指南：使用map结构进行参数传递 - minimal_legacy
阿呆的隐秘角落
07-15 1084
做全网最好的libbpf-bootstrap 开发指南
kxdpgun ——AF_XDP使用的示例分析（二）
qq_45675153的博客
07-10 850
knot_xdp_send调用了prot_write_eth，而prot_write_eth又调用了prot_write_ipv6/prot_write_ipv4，以此类推写完了报文头部。knot_xdp_send函数首先调用xsk_prod_nb_free查看tx中有没有足够的空闲单元，然后向tx ring中写入msg不为空的报文，最后调用xsk_ring_prod__submit提交写操作。最后调用knot_xdp_send_finish，结束发送过程，本质上是调用了sento。
深入理解 BPF map 实现机制
dwh0403的专栏
01-10 1761
在 BPF 程序中可以通过声明 `struct bpf_map_def` 结构完成创建，这其实带给我们一种错觉，感觉这和普通的 C 语言变量没有区别，然而事实真的是这样的吗？ 事情远没有这么简单，读完本文以后相信你会有更大的惊喜。
bcc钱包地址生成linux,从Bcc到xdp原理分析
weixin_34401781的博客
05-13 623
BccBcc是ebpf的编译工具集合，前端提供python/lua调用，本身通过c语言实现，集成llvm/clang，将ebpf代码注入，提供一些更人性化的函数给用户使用，比如函数的注入等，里面提供了很多xdp的例子，本文将从bcc xdp例子为入口，研究整个xdp的工作流程附：ebpf框架(map作为用户态和内核态注入代码的通信(目前upstream xdp支持devmap、cpumap、xsk...
ebpf中的percpu map的注意事项与剖析
^_^
01-10 1054
ebpf percpu map
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值