如何使用ebpf kprobe探测内核函数

前言

    在这之前, 我也曾使用过ebpf来改造我自己的项目, 最后也成功引入了项目, 有兴趣的同学可以查看此文章.

如何用ebpf开启tun网卡的TUNSETSTEERINGEBPF功能_我不买vip的博客-CSDN博客

    但是该文章里并没有实质性的内容, 比如ebpf的map未曾涉及, 探测类型也未曾涉及, 只是一个空壳ebpf程序, 虽然能用, 但是是依赖内核开发者已开发出来的功能, 并未真正使用ebpf.

    最近一段时间, 公司让我优化某个项目, 就借此机会又研究了下ebpf. 当然了, 研究ebpf最好的方法肯定是研究linux源码下samples/bpf的相关例子. 本文也是根据samples/bpf的例子改造的.

    该文章主要目的是如何使用kprobe探测内核函数. 而在本文里则是ebpf的内核态代码用kprobe探测connect的系统调用函数__sys_connect, 并在探测时解析出dest port作为key, 获取应用层pid(比如本文里的测试程序iperf3)作为value放入map里. 而ebpf的用户态程序遍历此map, 并打印相关信息.

环境

    Ubuntu-22.10环境, 5.19.0-23-generic内核, x86_64架构, 所下载的linux源码为5.19.0.

编译

    关于如何编译linux源码下的samples/bpf程序, 可以参考此文章.

如何使用linux源码编译bpf_我不买vip的博客-CSDN博客

    注意, ubuntu20编译linux-5.4.0和ubuntu22编译linux-5.19.0方法的最后一步不一样, 该篇文章编译的最后一步为

make VMLINUX_BTF=/sys/kernel/btf/vmlinux -C samples/bpf

源码

   源码包含两个部分, for_conn_kern.c和for_conn_user.c两部分, 分别对应ebpf的内核态程序和ebpf的用户态程序. 实际代码如下:

     for_conn_kern.c

// for_conn_kern.c

#include <linux/skbuff.h>
#include <linux/netdevice.h>
#include <linux/version.h>
#include <uapi/linux/bpf.h>
#include <bpf/bpf_helpers.h>
#include <bpf/bpf_tracing.h>
#include <bpf/bpf_core_read.h>
#include <net/sock.h>
#include "trace_common.h"

#define MAX_ENTRIES 1024

struct {
	__uint(type, BPF_MAP_TYPE_HASH);
	__type(key, u32);
	__type(value, u32);
	__uint(max_entries, MAX_ENTRIES);
} port_2_pid_map SEC(".maps");

SEC("kprobe/__sys_connect")
int trace_sys_conn(struct pt_regs *ctx)
{
	int ret = 0;
	u16 port = 0;
	u32 key = 0;
        u32 pid = 0;

	struct sockaddr_in *in4 = (struct sockaddr_in *)PT_REGS_PARM2_CORE(ctx);
	if ((ret = bpf_probe_read_user(&port, sizeof(port), &in4->sin_port)))
	{
		return 0;
	}
	key = ntohs(port);
	pid = bpf_get_current_pid_tgid() >> 32;

	bpf_map_update_elem(&port_2_pid_map, &key, &pid, BPF_ANY);
	return 0;
}

char _license[] SEC("license") = "GPL";
u32 _version SEC("version") = LINUX_VERSION_CODE;

     for_conn_user.c

// for_conn_user.c

#define _GNU_SOURCE
#include <sched.h>
#include <stdio.h>
#include <sys/types.h>
#include <asm/unistd.h>
#include <unistd.h>
#include <assert.h>
#include <sys/wait.h>
#include <stdlib.h>
#include <signal.h>
#include <string.h>
#include <time.h>
#include <arpa/inet.h>
#include <errno.h>

#include <bpf/bpf.h>
#include <bpf/libbpf.h>

int main(int argc, char **argv)
{
        struct bpf_object *obj = NULL;
        int i = 0;
        int mfd = 0;
        struct bpf_link *link = NULL;
	struct bpf_program *prog;
	char filename[256];
        snprintf(filename, sizeof(filename), "%s_kern.o", argv[0]);

        //-----------------//
	obj = bpf_object__open_file(filename, NULL);
	if (libbpf_get_error(obj)) 
        {
		fprintf(stderr, "ERROR: opening BPF object file failed\n");
		return -1;
	}
	if (bpf_object__load(obj)) 
        {
		fprintf(stderr, "ERROR: loading BPF object file failed\n");
		goto END;
	}

        //-----------------//
        prog = bpf_object__find_program_by_name(obj, "trace_sys_conn");
	if (!prog) 
        {
		printf("finding a prog in obj file failed\n");
		goto END;
	}

        //-----------------//
        mfd = bpf_object__find_map_fd_by_name(obj, "port_2_pid_map");
        if (mfd < 0)
        {
		fprintf(stderr, "ERROR: finding a map fd in obj file failed\n");
		goto END;    
        }

        //-----------------//
	link = bpf_program__attach(prog);
	if (libbpf_get_error(link)) 
        {
		fprintf(stderr, "ERROR: bpf_program__attach link failed\n");
		link = NULL;
		goto END;
	}

        for (i = 0; i < 1000; i++)
        {
                unsigned int key = 0;
                unsigned int next_key = 0;
                while (bpf_map_get_next_key(mfd, &key, &next_key) == 0) 
                {
                        unsigned int value = 0;
                        bpf_map_lookup_elem(mfd, &next_key, &value);
                        fprintf(stdout, "port: %u, pid: %d\n", next_key, value);
                        key = next_key;
                }
                printf("-----------------------\n");
                sleep(1);
        }
        
END:
        bpf_link__destroy(link);
        bpf_object__close(obj);
	return 0;
}

    其实在<<编译>>部分, 我们已经编译好了samples/bpf程序, 现在只需要把for_conn_kern.c和for_conn_user.c加入到samples/bpf/Makefile文件里即可, 而我们可以根据tracex3在对应的部分添加这两个文件即可. 比如:

测试 

1, 在一台服务器用iperf3启动一个tcp服务, 比如: iperf3 -s 0.0.0.0 -p 6230

2, 启动该ebpf程序, ./for_conn

3, 在本机启动一个iperf3客户端, 连接6230端口, 比如: iperf3 -c 192.168.20.1xx -p 6230

4, 查看本机iperf3进程id, 查看./for_conn打印信息

    测试结果入下图:

    可以看到, ps获取的iperf3的信息跟打印的信息匹配, 说明kprobe探测成功.

结束

    ebpf的功能远不止于此, 本文也只是简单的使用了kprobe, 希望能起到一个抛砖引玉的效果.