龙蜥社区开源 coolbpf，BPF 程序开发效率提升百倍

引言

BPF 是一个新的动态跟踪技术，目前这项技术正在深刻的影响着我们的生产和生活。BPF 在四大应用场景发挥着巨大作用：

• 系统故障诊断：它可以动态插桩透视内核。
• 网络性能优化：它可以对接收和发送的网络包做修改和转发。
• 系统安全：它可以监控文件打开和关闭从而做出安全决策等。
• 性能监控：它可以查看函数耗费时间从而知道性能瓶颈点。

BPF 技术也是随着 Linux 内核的发展而发展的，Linux 内核版本经历了 3.x 向 4.x 到 5.x 演进，eBPF 技术的支持也是从 4.x 开始更加完善起来，特别是 5.x 内核也增加了非常多的高级特性。但是云上服务器有大量的 3.10 内核版本是不支持 eBPF 的，为了让我们现有的 eBPF 工具在这些存量机器得以运行，我们移植了 BPF 到低版本内核，同时基于 libbpf 的 CO-RE 能力，保证一个工具可运行在 3.x/4.x/5.x 的低、中、高内核版本。

BPF 的开发方式有很多，当前比较热门的有：

1）纯 libbpf 应用开发：借助 libbpf 库加载 BPF 程序到内核的方式：这种开发方式不仅效率低，没有基础库封装，所有必备步骤和基础函数都需要自己摸索。

2）借助 BCC等开源项目：开发效率高、可移植性好，并且支持动态修改内核部分代码，非常灵活。但存在部署依赖 Clang/LLVM 等库； 每次运行都要执行 Clang/LLVM 编译，严重消耗 CPU、内存等资源，容易与其它服务争抢。

coolbpf 项目，以 CO-RE（Compile Once-Run Everywhere）为基础实现，保留了资源占用低、可移植性强等优点，还融合了 BCC 动态编译的特性，适合在生产环境批量部署所开发的应用。coolbpf 开创了一个新的思路，利用远程编译的思想，把用户的BPF程序推送到远端的服务器并返回给用户.o或.so，提供高级语言如 Python/Rust/Go/C 等进行加载，然后在全量内核版本安全运行。用户只需专注自己的功能开发，不用关心底层库（如 LLVM、python 等）安装、环境搭建，给广大 BPF 爱好者提供一种新的探索和实践。

一、BPF 开发方式对比

BPF 经历了传统的 setsockopt 方式的 sock filter 报文过滤，到如今使用 libbpf CO-RE 方式进行监控和诊断功能的开发，是和 eBPF 与硬件紧密结合的优秀的指令集能力及 libbpf 通用库的开源开放分不开的，让我们一同回顾一下 BPF 的开发方式，并在此基础上推出基于远程编译思想为核心的 coolbpf，它站在了巨人的肩膀上，进行了资源优化、简洁编程和效率提升。

1、原始阶段

在 BPF 还叫伯克利报文过滤(cBPF)的时候，它通过 sock filter 将原始的 BPF 指令码，利用 setsockopt 加载到内核，通过 setsockopt 加载到内核，通过在 packet_rcv 调用 runfilter 运行这段程序来进行报文过滤。这种方式，BPF 字节码的生成非常原始，类似于手工编写汇编程序，过程是非常痛苦的。

static struct sock_filter filter[6] = {
 { OP_LDH, 0, 0, 12          }, // ldh [12]
 { OP_JEQ, 0, 2, ETH_P_IP    }, // jeq #0x800, L2, L5
 { OP_LDB, 0, 0, 23          }, // ldb [23]
 { OP_JEQ, 0, 1, IPPROTO_TCP }, // jeq #0x6, L4, L5
 { OP_RET, 0, 0, 0           }, // ret #0x0
 { OP_RET, 0, 0, -1,         }, // ret #0xffffffff
};
int main(int argc, char **argv)
{
 …
 struct sock_fprog prog = { 6, filter };
 …
 sock = socket(AF_PACKET, SOCK_RAW, htons(ETH_P_ALL));
 …
 if (setsockopt(sock, SOL_SOCKET, SO_ATTACH_FILTER, &prog, sizeof(prog))) {
  return 1;
 }
…
 }

2、保守阶段

例子为 samples/bpf 下面的 sockex1_kern.c 和 sockex1_user.c，代码分为两部分，通常命名为 xxx_kern.c 和 xxx_user.c，前者加载到内核空间中执行，后者在用户空间执行。BPF 程序编写完成后就通过 Clang/LLVM 进行编译，xxx_user.c 里显式的去加载生成的 xxx_kernel.o 文件。这种方式虽然使用了编译器支持自动生成了 BPF 字节码，但代码组织和 BPF 加载方式比较保守，用户需要写非常多的重复代码。

struct {
    __uint(type, BPF_MAP_TYPE_ARRAY);
    __type(key, u32);
    __type(value, long);
    __uint(max_entries, 256);
} my_map SEC(".maps");

SEC("socket1")
int bpf_prog1(struct __sk_buff *skb)
{
    int index = load_