albon arith

一些总结,欢迎交流

日志压缩资源消耗优化: Linux CGroup 的使用

我们有一个系统,本身压力比较大,平常 CPU 占用率在 60% 左右。在整点之后的日志压缩时,CPU 占用率更是飙到来 80%,造成系统 Load 经常报警,烦不胜烦。

CPU 占用率监控
Load 监控

使用 top 命令查看后发现,gzip 压缩进程占用 CPU 资源过多,于是想到了利用 CGroup 来限制日志压缩进程的资源占用。具体脚本如下所示:

#!/bin/bash
#
#
log_gzip_cg_path="/cgroup/cpu/log_limit"
if [ ! -d "$log_gzip_cg_path" ]; then
    echo "mkdir $log_gzip_cg_path"
    mkdir "$log_gzip_cg_path"
else
    echo "$log_gzip_cg_path already exists"
fi
echo 20000 | sudo tee "$log_gzip_cg_path"/cpu.cfs_quota_us

while true
do
    sleep 3s
    # find the pid of grep program
    gz_pid=$(ps aux | grep gzip | grep -v find | grep -v grep | awk '{print $2}')
    if [ -n "$gz_pid" ]; then
        # check if duplicate, then jump
        if [ "$gz_pid" = "$prev_pid" ]; then
            continue
        fi
        # else add gz_pid to cpu control group: log_gzip
        prev_pid=$gz_pid;
        echo "gzip pid: "$gz_pid
        echo $gz_pid | sudo tee -a "$log_gzip_cg_path"/tasks
    fi
done

这个脚本首先在 /cgroup/cpu 下创建了一个组 log_limit ,用于设置提供给压缩进程的 CPU 占用率,这里限制 CPU 使用率上限为 20%。

由于日志压缩程序是由 crontab 定时执行的,进程 pid 是经常变化的,所以我们轮询检查 gzip 进程是否存在,若存在则将其 pid 放入 log_limit 组中。

优化前后的 CPU 使用率和 Load 监控对比,如下图所示。我们在11:50的时候开启优化,12点和13点的日志在压缩时,CPU占用率峰值明显低于9到11点时的峰值。Load 监控也是如此。
优化前后 CPU 使用率监控
优化前后系统 Load 监控

CGroup 用法可以看文章:DOCKER基础技术:LINUX CGROUP,通俗易懂。

阅读更多

扫码向博主提问

去开通我的Chat快问

hustspy1990

博客专家

顺其自然
  • 擅长领域:
  • Java
  • 性能优化
  • 系统设计
  • 高可用
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hustspy1990/article/details/77900586
个人分类: Linux
想对作者说点什么? 我来说一句

gzip解压和压缩,在内存使用

2009年03月23日 333KB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭