Python3+cgroupspy安装使用教程

最新推荐文章于 2023-10-29 23:10:36 发布

程序员小麦

最新推荐文章于 2023-10-29 23:10:36 发布

阅读量244

点赞数

文章标签： python linux 开发语言 pycharm 笔记运维服务器

本文链接：https://blog.csdn.net/maiya_yayaya/article/details/133824829

版权

一、系统资源使用限制的必要性探讨

对于一个脚本，最基础的限制是要限制单进程实例以保证了不会存在多个进程实例、在运行程序主体逻辑前检测系统资源剩余量确保自己不是压夸系统的最后一根稻草、设置程序运行超时时间以保证进程实例不会无休止地运行下去。

进一步，在部署有可用性要求较高的服务的主机中，我们还需要关注脚本运行期间占用的系统资源的问题，我们需要一种途径限制脚本对cpu、内存、io等系统资源的用量，以防止脚本对这些关键服务造成影响。

二、cgroups简介

2.1 背影简介

cgroups是Control groups的简称，是Linux内核提供的一种限制进程使用和种系统资源的特性。

最早的cgroups来自于谷歌工程师Paul Menage和Rohit Seth开发的“处理容器”特性，他们的工作在2008年布的Linux 2.6.24版本被集成，此亦即所谓的cgroups V1版本。

在此之后各种不同的特性被添加到cgroups之上，在丰富cgroups功能的同时，也使其出现复杂化和不一致的问题。基于此原因，Tejun Heo对cgroups进行了重写此即cgroups V2，在Linux 3.10开始被集成在Linux 4.5正式发布。

在预期上V2是V1的替代，但为了兼容两者可以同时存在。在后边的介绍中没有特别说明指的都是cgroups V2。

2.2 使用简介

在表现形式上，cgroups是一个文件系统，通常是挂载在/sys/fs/cgroup目录下，可以使用df -h直接查看

该目录下的每一个子文件夹就代表一种资源，要限制该项资源就在相应的文件夹下进行配置。

比如限制cpu就在cpu,cpuacct文件夹下进行配置、限制io就在blkio文件夹下进行配置、限制内存就在memory文件夹下进行配置。

在文件夹下的每个文件就是该项资源的一个指标，对各指标进行配置，最后在tasks中写入想要限制的目标进程的pid，linux内核即会按配置对这个进程进行限制。

但我们可能会想对不同的进程进行不同的限制，这是一个普遍的需求。所以我们一般不直接修改各资源文件夹下的文件，而是在资源文件夹下为我们的目标进程单独创建一个文件夹，但使用mkdir创建文件夹时系统会自动在该文件夹下生成各资源指标的配置文件。而要删除时，直接使用rmdir删除文件夹即可。

2.3 配置实现示例

示例一，限制pid为1234的进程最多只能使用一个核的90%算力。

pid_num=1234
cgroup_base_dir="/sys/fs/cgroup"
resource_dir="cpu,cpuacct"
self_define_dir="test_process"
target_path="${cgroup_base_dir}/${resource_dir}/${self_define_dir}"
# 先在cpu配置文件夹下再单独创建一个文件夹
mkdir ${target_path}
# 设置时段长度，单位微秒。这里设置成1000000微秒，即1秒
echo 1000000 > ${target_path}/cpu.cfs_period_us
# 设置在该时间段内最多能使用的时间，单位微秒。这里设置成900000，即0.9秒。
# 当cpu.cfs_quota_us比cpu.cfs_period_us大时表示可以使用多个cpu核
echo 900000 > ${target_path}/cpu.cfs_quota_us
# 对进程进行限制
echo ${pid_num} >> ${target_path}/tasks

示例二，限制pid为1234的进程对设备号为252:0的磁盘的读写速度最高都只能为5M

pid_num=1234
# 这里设备号是给定的，可使用lsblk查看自己磁盘的设备号
device_num=252:0
limit_read_rate=5242880
limit_write_rate=5242880
cgroup_base_dir="/sys/fs/cgroup"
resource_dir="blkio"
self_define_dir="test_process"
target_path="${cgroup_base_dir}/${resource_dir}/${self_define_dir}"
# 先在cpu配置文件夹下再单独创建一个文件夹
mkdir ${target_path}
# 限制读速度，单位B每秒。
echo "${device_num} ${limit_read_rate}" > ${target_path}/blkio.throttle.read_bps_device
# 限制写速度，单位B每秒。
echo "${device_num} ${limit_write_rate}" > ${target_path}/blkio.throttle.write_bps_device
# 对进程进行限制
echo ${pid_num} >> ${target_path}/tasks

示例三，限制pid为1234的进程最多只能使用1G的内存

pid_num=1234
limit_memory_byte=1024000000
cgroup_base_dir="/sys/fs/cgroup"
resource_dir="memory"
self_define_dir="test_process"
target_path="${cgroup_base_dir}/${resource_dir}/${self_define_dir}"
# 先在cpu配置文件夹下再单独创建一个文件夹
mkdir ${target_path}
# 限制内存用量大小，单位B。
echo ${limit_memory_byte} > ${target_path}/memory.limit_in_bytes
# 对进程进行限制
echo ${pid_num} >> ${target_path}/tasks

2.4 关于配置的一些说明

所有配置项，如果有多条配置，那么使用换行进行分隔；包括tasks的进程pid也一样。

cgroups的配置有一定的主动排错功能，如果配置错误会拒绝写入。比如上边限制磁盘读写速率的配置中，如果你不存在设备号为252:0的设备那么配置写入会失败。

cgroups的进程限制有一定的自适应功能。比如你限制了一个进程那么其子进程也会被自动加入到tasks中一起限制，如果一个进程结束那么其pid会被自动移出tasks。

三、cgroupspy安装使用

如果考虑不受拘束我们可以按第二大节所说自己实现资源限制，但如果考虑简单性和健壮性可以直接使用别人写好的库；cgroupspy是cgroups配置的python实现。

项目主页：https://github.com/cloudsigma/cgroupspy

3.1 安装

直接pip安装即可：

pip install cgroupspy

3.2 使用示例（以限制内存为例）

from cgroupspy import trees

pid_num = 1234
resource_item = "memory"
group_name = "test_process"
limit_memory_byte = 1024000000

# 实例化一个资源树
t = trees.Tree()
# 获取内存配置对象
memory_limit_obj = t .get_node_by_path("/{0}/".format(resource_item))
# 创建一个test_process组（在实际上，即文件夹）
test_process_group = memory_limit_obj.create_cgroup(group_name)
# 限制内存用量。相对于实际的文件少了memory前辍
test_process_group.controller.limit_in_bytes = limit_memory_byte
# 限制进程
test_process_group.controller.tasks = pid_num