Linux CGroups简介

Linux CGroups简介

1、CGroups是什么

与Linux namespace对比来看,Linux namespace用来限制进程的运行范围或者运行环境的可见性,比如:uts限制进程读取到的hostname、mnt限制进程读取到的文件系统视图、net限制进程可以访问的网络范围等;而CGroups则是用来限制进程的资源配给,比如:磁盘IO读写速率、内存使用限制、CPU时间限制等,从而避免争抢和挤压。

2、核心概念

既然CGroups是用来管理进程的资源配给的,那么CGroups的概念最少应该涉及到进程和资源两部分:

  • task:任务,用来表示进程。
  • subsystem:子系统,用来表示资源控制***类型***,比如:cpu、memory等。Linux目前支持12种类型的subsystem:
    • blkio:限制task操作块设备的io速率
    • cpu:限制task的cpu使用率
    • cpuacct:非限制类,生成cgroup中task的cpu使用报告
    • cpuset:为cgroup中的task分配独立的cpu和内存节点
    • devices:现在cgroup中的task可以访问的设备
    • freezer:是cgroup中的task挂起,或者使挂起的task恢复正常运行
    • hugetlb:限制cgroup的HugeTLB使用量
    • memory:限制task的内存使用量
    • net_cls:标记task发出的网络数据包,tc会对标记过的数据包进行处理
    • net_prio:为task设置网络优先级
    • perf_event:对cgroup进行性能监控,而非对task进行监控
    • pids:现场cgroup中的task数量(含下级cgroup中的task)

除了进程和资源以外,还需要将两者结合起来,并且提供有效的管理手段:

  • cgroup:控制组,将task进行分组管理,以组为单位进行资源配给***量***设置。
  • hierarchy:可以理解为某个或者某些subsystem挂载点,比如:/sys/fs/cgroup/memory目录或者/sys/fs/cgroup/cpu,cpuacct目录都可以理解为一个hierarchy。
    • 一个subsystem只能出现在一个hierarchy上,最精细的情况就是每个hierarchy上仅挂载一个subsystem。
    • hierarchy上挂载的subsystem决定了当前hierarchy下的cgroup可以使用且只能使用的资源控制***类型***,比如:/sys/fs/cgroup/memory下的cgroup***只能***使用memory一种,而/sys/fs/cgroup/cpu,cpuacct***只能***使用cpu和cpuacct的组合。可以理解为:同一个hierarchy上的所有进程都以相同的手段限制资源,差别在于cgroup与cgroup之间的资源阈值。
    • 每个hierarchy都挂载着当前系统中的所有进程,初始状态下,这些进程都属于默认的cgroup,称之为root cgroup(考虑每个hierarchy都是一颗完整的进程树),可以在root cgroup下创建子cgroup。
    • 每个hierarchy上的进程只能属于一个cgroup,每当将进程加入到新的cgroup后,系统会自动从老的cgroup中移除该进程。
    • 在一个hierarchy上关联所有的subsystem,这是最粗力度的进程管理方式,每个进程同时使用所有的subsystem。
    • 每一个hierarchy上仅关联一个subsystem,这是最细粒度的进程管理方式,每个hierarchy上的进程仅使用一个subsystem。

核心概念中的前三个都比较简单,稍微难以理解的可能就是hierarchy了。简单来说,hierarchy可以理解为subsystem的分组,组团对进程进行限制,至于限制量多少,cgroup说了算~

在这里插入图片描述
上图中有两颗hierarchy树:hierarchy-a和hierarchy-b,两颗树上的task(进程)完全相同,两颗树上的subsystem不能存在交集,两颗树上的cgroup分组方式相互独立,互不影响。hierarchy-a上的cgroup必须同时使用cpu和cpuacct两种subsystem,此时cpu和cpuacct是一个整体。而hierarchy-b上只能使用memory一种subsystem。

进程fork出新的子进程时,子进程与父进程处于同一cgroup,受到相同的subsystem限制。之后子进程可以被添加到其他cgroup,父进程不受影响,父子进程相互独立。

3、基本操作

3.1、管理hierarchy

  • 查看当前系统中的hierarchy
### 查看当前系统中的hierarchy ###
[root@localhost ~]# mount --type cgroup
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,memory)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,blkio)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,hugetlb)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,freezer)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,net_prio,net_cls)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,devices)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,cpuset)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,cpuacct,cpu)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,perf_event)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,seclabel,pids)
  • 创建hierarchy
### 尝试创建另一个hierarchy,失败,因为:从上面的结果来看,系统默认的hierarchy已经包含了所有的subsystem ###
[root@localhost ~]# mount --type cgroup --options cpu cpu cgroups/
mount: cpu is already mounted or /root/cgroups busy

### 尝试创建一个不与任何subsystem关联的hierarchy ###
[root@localhost ~]# mount --type cgroup --options none,name=cgroup-1 cgroup-1 cgroups/cgroup-1/
### 创建cgroup-1之后,系统会自动创建必要的配置文件 ###
[root@localhost ~]# ll cgroups/cgroup-1/
total 0
-rw-r--r--. 1 root root 0 Feb 26 14:57 cgroup.clone_children
--w--w--w-. 1 root root 0 Feb 26 14:57 cgroup.event_control
-rw-r--r--. 1 root root 0 Feb 26 14:57 cgroup.procs
-r--r--r--. 1 root root 0 Feb 26 14:57 cgroup.sane_behavior
-rw-r--r--. 1 root root 0 Feb 26 14:57 notify_on_release
-rw-r--r--. 1 root root 0 Feb 26 14:57 release_agent
-rw-r--r--. 1 root root 0 Feb 26 14:57 tasks

CGroup系统没有提供任何系统调用接口,而是通过vfs实现类似文件系统的操作方式来进行管理,比如上述这些自动生成的文件。因为没有关联任何subsystem,这些文件都是一些通用文件,文件的基本含义如下:

  • cgroup.clone_children:仅对cpuset有效,当配置内容为 1 时表示继承上级cgroup的cpuset配置。
  • cgroup.event_control:eventfd接口。
  • cgroup.procs:记录当前cgroup中的所有线程ID(TGID),无序,可重复。项此文件中增加tgid表示将整个线程组加入此cgroup。
  • cgroup.sane_behavior:
  • tasks:记录当前cgroup中的所有进程ID(PID),无序,可重复。向此文件中增加pid即表示将进程加入此cgroup,同时也会将pid从原cgroup的tasks文件中移除。
  • notify_on_release:如果改文件的内容为 1 ,当cgroup退出时系统将调用release_agent文件中的命令。
  • release_agent:cgroup退出时需要执行的命令,此文件仅出现在root cgroup中。

除了上述通用文件之外,每个subsystem都有自己独特的配置文件和配置格式,比如:

### 查看系统memory subsystem对应的配置文件 ###
[root@localhost ~]# ll /sys/fs/cgroup/memory/
total 0
-rw-r--r--. 1 root root 0 Feb 27 13:27 cgroup.clone_children
--w--w--w-. 1 root root 0 Feb 27 13:27 cgroup.event_control
-rw-r--r--. 1 root root 0 Feb 27 13:27 cgroup.procs
-r--r--r--. 1 root root 0 Feb 27 13:27 cgroup.sane_behavior
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.failcnt
--w-------. 1 root root 0 Feb 27 13:27 memory.force_empty
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.failcnt
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.limit_in_bytes
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.max_usage_in_bytes
-r--r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.slabinfo
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.tcp.failcnt
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.tcp.limit_in_bytes
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.tcp.max_usage_in_bytes
-r--r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.tcp.usage_in_bytes
-r--r--r--. 1 root root 0 Feb 27 13:27 memory.kmem.usage_in_bytes
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.limit_in_bytes
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.max_usage_in_bytes
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.memsw.failcnt
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.memsw.limit_in_bytes
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.memsw.max_usage_in_bytes
-r--r--r--. 1 root root 0 Feb 27 13:27 memory.memsw.usage_in_bytes
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.move_charge_at_immigrate
-r--r--r--. 1 root root 0 Feb 27 13:27 memory.numa_stat
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.oom_control
----------. 1 root root 0 Feb 27 13:27 memory.pressure_level
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.soft_limit_in_bytes
-r--r--r--. 1 root root 0 Feb 27 13:27 memory.stat
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.swappiness
-r--r--r--. 1 root root 0 Feb 27 13:27 memory.usage_in_bytes
-rw-r--r--. 1 root root 0 Feb 27 13:27 memory.use_hierarchy
-rw-r--r--. 1 root root 0 Feb 27 13:27 notify_on_release
-rw-r--r--. 1 root root 0 Feb 27 13:27 release_agent
-rw-r--r--. 1 root root 0 Feb 27 13:27 tasks
  • 删除hierarchy
### 接触挂载 ###
[root@localhost ~]# umount cgroups/cgroup-1/
### 自动生成的配置文件在umount之后自动删除 ###
[root@localhost ~]# ll cgroups/cgroup-1/
total 0

3.2、管理cgroup

hierarchy创建之后,默认会与一个顶层cgroup,也就是该hierarchy的root cgroup。在root cgroup下创建新目录,也就是创建了下级cgroup,项cgroup中加入task,配置对应的subsystem参数,也就限制了task中的进行访问与subsystem对应的系统资源的访问。

  • 创建cgroup
### 在/sys/fs/cgroup/cpu创建cgroup-c ###
[root@localhost ~]# mkdir /sys/fs/cgroup/cpu/cgroup-c
### 系统自动生成对应的配置文件,说明cgroup创建成功 ###
[root@localhost ~]# ll /sys/fs/cgroup/cpu/cgroup-c
total 0
-rw-r--r--. 1 root root 0 Feb 27 15:14 cgroup.clone_children
--w--w--w-. 1 root root 0 Feb 27 15:14 cgroup.event_control
-rw-r--r--. 1 root root 0 Feb 27 15:14 cgroup.procs
-r--r--r--. 1 root root 0 Feb 27 15:14 cpuacct.stat
-rw-r--r--. 1 root root 0 Feb 27 15:14 cpuacct.usage
-r--r--r--. 1 root root 0 Feb 27 15:14 cpuacct.usage_percpu
-rw-r--r--. 1 root root 0 Feb 27 15:14 cpu.cfs_period_us
-rw-r--r--. 1 root root 0 Feb 27 15:14 cpu.cfs_quota_us
-rw-r--r--. 1 root root 0 Feb 27 15:14 cpu.rt_period_us
-rw-r--r--. 1 root root 0 Feb 27 15:14 cpu.rt_runtime_us
-rw-r--r--. 1 root root 0 Feb 27 15:14 cpu.shares
-r--r--r--. 1 root root 0 Feb 27 15:14 cpu.stat
-rw-r--r--. 1 root root 0 Feb 27 15:14 notify_on_release
-rw-r--r--. 1 root root 0 Feb 27 15:14 tasks
### 每个cgroup还可以继续创建下级cgroup,下级会继承上级的一些配置项 ###
[root@localhost ~]# ll /sys/fs/cgroup/cpu/cgroup-c/cgroup-c-1
total 0
-rw-r--r--. 1 root root 0 Feb 27 15:17 cgroup.clone_children
--w--w--w-. 1 root root 0 Feb 27 15:17 cgroup.event_control
-rw-r--r--. 1 root root 0 Feb 27 15:17 cgroup.procs
-r--r--r--. 1 root root 0 Feb 27 15:17 cpuacct.stat
-rw-r--r--. 1 root root 0 Feb 27 15:17 cpuacct.usage
-r--r--r--. 1 root root 0 Feb 27 15:17 cpuacct.usage_percpu
-rw-r--r--. 1 root root 0 Feb 27 15:17 cpu.cfs_period_us
-rw-r--r--. 1 root root 0 Feb 27 15:17 cpu.cfs_quota_us
-rw-r--r--. 1 root root 0 Feb 27 15:17 cpu.rt_period_us
-rw-r--r--. 1 root root 0 Feb 27 15:17 cpu.rt_runtime_us
-rw-r--r--. 1 root root 0 Feb 27 15:17 cpu.shares
-r--r--r--. 1 root root 0 Feb 27 15:17 cpu.stat
-rw-r--r--. 1 root root 0 Feb 27 15:17 notify_on_release
-rw-r--r--. 1 root root 0 Feb 27 15:17 tasks
  • 删除cgroup
### 删除cgroup时,需要先删除下级cgroup ###
[root@localhost ~]# rmdir /sys/fs/cgroup/cpu/cgroup-c/
rmdir: failed to remove ‘/sys/fs/cgroup/cpu/cgroup-c/’: Device or resource busy
### 直接删除对应的目录即可 ###
[root@localhost ~]# rmdir /sys/fs/cgroup/cpu/cgroup-c/cgroup-c-1/
[root@localhost ~]# rmdir /sys/fs/cgroup/cpu/cgroup-c
[root@localhost ~]# ll /sys/fs/cgroup/cpu/cgroup-c
ls: cannot access /sys/fs/cgroup/cpu/cgroup-c: No such file or directory
  • 查看当前进程属于查询cgroup
### 数据结构:hierarchy_id:subsystem:cgroup_path ###
[root@localhost ~]# cat /proc/$$/cgroup 
11:perf_event:/
10:blkio:/
9:freezer:/
8:pids:/
7:hugetlb:/
6:memory:/
5:cpuacct,cpu:/
4:devices:/
3:net_prio,net_cls:/
2:cpuset:/
1:name=systemd:/user.slice/user-0.slice/session-1.scope

cgroup_path表示从root cgroup(/)开始的路径,比如 /user.slice/user-0.slice/session-1.scope 表示的实际位置为:/sys/fs/cgroup/systemd/user.slice/user-0.slice/session-1.scope


这一篇先简单介绍到这里,主要为了理解cgroups的几个核心概念,具体subsystem的详细配置方法这里就不再继续研究了。

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页