日志压缩资源消耗优化: Linux CGroup 的使用

标签: 优化linuxCGroup日志压缩
212人阅读 评论(0) 收藏 举报
分类:

我们有一个系统,本身压力比较大,平常 CPU 占用率在 60% 左右。在整点之后的日志压缩时,CPU 占用率更是飙到来 80%,造成系统 Load 经常报警,烦不胜烦。

CPU 占用率监控
Load 监控

使用 top 命令查看后发现,gzip 压缩进程占用 CPU 资源过多,于是想到了利用 CGroup 来限制日志压缩进程的资源占用。具体脚本如下所示:

#!/bin/bash
#
#
log_gzip_cg_path="/cgroup/cpu/log_limit"
if [ ! -d "$log_gzip_cg_path" ]; then
    echo "mkdir $log_gzip_cg_path"
    mkdir "$log_gzip_cg_path"
else
    echo "$log_gzip_cg_path already exists"
fi
echo 20000 | sudo tee "$log_gzip_cg_path"/cpu.cfs_quota_us

while true
do
    sleep 3s
    # find the pid of grep program
    gz_pid=$(ps aux | grep gzip | grep -v find | grep -v grep | awk '{print $2}')
    if [ -n "$gz_pid" ]; then
        # check if duplicate, then jump
        if [ "$gz_pid" = "$prev_pid" ]; then
            continue
        fi
        # else add gz_pid to cpu control group: log_gzip
        prev_pid=$gz_pid;
        echo "gzip pid: "$gz_pid
        echo $gz_pid | sudo tee -a "$log_gzip_cg_path"/tasks
    fi
done

这个脚本首先在 /cgroup/cpu 下创建了一个组 log_limit ,用于设置提供给压缩进程的 CPU 占用率,这里限制 CPU 使用率上限为 20%。

由于日志压缩程序是由 crontab 定时执行的,进程 pid 是经常变化的,所以我们轮询检查 gzip 进程是否存在,若存在则将其 pid 放入 log_limit 组中。

优化前后的 CPU 使用率和 Load 监控对比,如下图所示。我们在11:50的时候开启优化,12点和13点的日志在压缩时,CPU占用率峰值明显低于9到11点时的峰值。Load 监控也是如此。
优化前后 CPU 使用率监控
优化前后系统 Load 监控

CGroup 用法可以看文章:DOCKER基础技术:LINUX CGROUP,通俗易懂。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:567626次
    • 积分:7419
    • 等级:
    • 排名:第3266名
    • 原创:189篇
    • 转载:6篇
    • 译文:0篇
    • 评论:97条
    博客专栏
    文章分类
    最新评论