基于eBPF的云原生可观测性开源项目Kindling之慢系统调用

基于eBPF的开源项目Kindling之慢系统调用

背景

系统调用是内核提供给用户的功能接口，在我们的系统中，通常会运行许多系统调用，其中有很多系统调用是由我们的用户程序来触发的(比如C语言中的printf()函数，实际会触发底层的write()系统调用)。在绝大多数情况下，系统调用可以在很短的时间内执行完成并且返回，但是在某些情况下， 系统调用可能会执行的比较慢，从而成为我们进程运行时的瓶颈。

对于这些执行较慢的系统调用我们可以分为两类，一类是在一定时间内执行完成，但是执行时间过长的系统调用，我们可以称之为慢系统调用；另一类是在一定时间内一直未返回的系统调用，我们称之为超时系统调用。在Kindling中，我们实现了对于这两类系统调用的捕获和分析，并将其报告给上层用户，以便用户洞察系统调用的情况。

实现原理

内核空间eBPF捕获系统调用

首先，我们可以使用eBPF技术通过内核提供的rawsyscalls目录下的tracepoint来捕获所有系统调用的入口和出口(sysenter对应系统调用的入口，sysexit对应系统调用的出口)，可在`/sys/kernel/debug/tracing/events/rawsyscalls/`中看到该tracepoint的具体信息。