lxcfs容器隔离技术实现原理分析之loadavg、cpuonline

女主宣言

我们知道runc没有做到完全隔离/proc、/sys路径下的文件，所以容器内通过top、free等命令看到的数据都是物理机上的。利用lxcfs可以实现将容器内/proc、/sys文件与物理机隔离，让top等命令显示容器内真实数据。本文将来详细介绍一下。

PS：丰富的一线技术、多元化的表现形式，尽在“360云计算”，点关注哦！

lxcfs是什么

我们知道runc没有做到完全隔离/proc、/sys路径下的文件，所以容器内通过top、free等命令看到的数据都是物理机上的。对于习惯了虚机，物理机的同学来说不太友好，而且这些命令似乎也失去了本质意义。lxcfs作用就是将容器内/proc、/sys文件与物理机隔离，让top等命令显示容器内真实数据。

说明

lxcfs是以用户空间文件系统（Filesystem in Userspace）为基础，以cgroup技术实现的用户空间的虚拟文件系统。先对fuse和cgroup有大致了解，看本文效果更好些。本文不介绍lxcfs的安装及使用，网上不乏这样的好文章。我们主要介绍下lxcfs对cpuonline、loadavg的现实，这两部分弄懂，其它也大体相同。

容器中读取lxcfs文件系统

lxcfs程序启动时会指定一个路径（如下图是/var/lib/lxcfs）作为挂载点，以后读取这个路径的下文件（cgroup、proc、sys）vfs都会调用内核fuse，fuse回调lxcfs实现的文件操作函数。容器内读取lxcfs文件系统中的数据时，通过gblic系统调用vfs接口然后转到fuse内核模块，内核模块fuse回调lxcfs程序中实现的回调函数，获取容器的cgroup，然后去宿主机对应cgroup下读取并计算后得到容器的实际mem、cpu等信息。lxcfs将物理机的cgroups挂载到运行时环境/run/lxcfs/controllers，但直接在物理机上看不见，因为程序中用unshare做了mounts namespace隔离。lxcfs程序中所有的cgroups信息都从/run/lxcfs/controllers下获得。

源码

因为工作中正好需要这两部分，所以主要介绍下cpuonline和loadavg的实现。nginx、java等程序根据cpu核心数启动相应个数的进程，cpuonline是相关系统调用的数据来源。没隔离导致的容器内获取到cpu核数是物理机的，本应该创建2个进程，实际却创建40个（容器2c，物理机40c），由于更多的上下文切换导致明显的性能下降。loadavg目前没看到有关的分析，这里也简单介绍下。

隔离效果

物理机40c128g

1、cpuonline

物理机

容器2c4g

2、loadavg

物理机

容器2c4g

可以看到cpuonline和load average都已经隔离

实现分析

注：cgropu的各个controller文件在main函数执行前打开，保存在fd_hierarchies中，后面使用直接掉openat，不是每次都要open、close文件。通过c语言的attribute((constructor)) 属性，声明collect_and_mount_subsystems这个函数。

看下collect_and_mount_subsystems

static void __attribute__((constructor)) collect_and_mount_subsystems(void)
{
      
    FILE *f;
    char *cret, *line = NULL;
    char cwd[MAXPATHLEN];
    size_t len = 0;
    int i, init_ns = -1;
    bool found_unified = false;

    if ((f = fopen("/proc/self/cgroup", "r")) == NULL) {
      
        lxcfs_error("Error opening /proc/self/cgroup: %s\n", strerror(errno));
        return;
    }
    // 读取宿主机上namespaces controller保存到hierarchies
    while (getline(&line, &len, f) != -1) {
      
......
        if (!store_hierarchy(line, p))
            goto out;
    }

    /* Preserve initial namespace. */
    init_ns = preserve_mnt_ns(getpid());
    if (init_ns < 0) {
      
        lxcfs_error("%s\n", "Failed to preserve initial mount namespace.");
        goto out;
    }

    fd_hierarchies = malloc(sizeof(int) * num_hierarchies);
    if (!fd_hierarchies) {