Linux shell编程：监控进程CPU使用率并使用 perf 抓取高CPU进程信息

已于 2024-08-07 22:50:53 修改
阅读量1.3k 收藏 18
点赞数 17
分类专栏： Linux 性能优化、功能优化 文章标签： linux shell perf 后台进程 嵌入式 cpu 监控
于 2024-08-07 22:30:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stallion5632/article/details/141002651
版权

0. 概要

本文将介绍一个用于监控一组进程CPU使用率的Shell脚本，，当检测到某进程的CPU使用率超出阈值时，使用 perf 工具抓取该进程的详细信息。
本shell脚本为了能在普通嵌入式系统上运行做了妥协和优化。

1. shell脚本流程的简要图示：

在这里插入图片描述

2. perf介绍

perf 是 Linux 内核提供的一个强大性能分析工具，能够用于分析和调优系统性能。它支持多种事件类型，如CPU时钟、缓存命中/未命中、中断等。

在本脚本中，当某个进程的CPU使用率超过设定阈值（例如80%）时，会使用以下命令抓取该进程的详细性能数据：

perf record -F 99 -e cpu-clock -p $pid -g -o "perf-$process_name.data" -- sleep $perf_sleep_time
  • -F 99：以每秒99次的频率进行采样。
  • -e cpu-clock：采样的事件类型为CPU时钟周期。
  • -p $pid：指定要采样的进程ID。
  • -g：记录调用栈信息，帮助分析性能瓶颈。
  • -o "perf-$process_name.data"：将采样数据输出到指定文件中。
  • -- sleep $perf_sleep_time：持续采样时间为10秒。

通过抓取高CPU使用率进程的详细性能数据，我们可以深入分析性能瓶颈，找出导致高CPU使用的原因，从而进行针对性的优化。

更多介绍请查看:
使用perf(火焰图)查看热点函数和系统调用最大延迟函数
如何使用perf 统计cpu和内存？

3. shell脚本详解

  1. 日志文件配置：

    # Log file location
LOGFILE="process_monitor.log"
# Redirect standard input, output, and error to log file
exec 1>>"$LOGFILE"
exec 2>>"$LOGFILE"

    这部分代码配置日志文件，并将标准输入、输出和错误重定向到日志文件中。

  2. 后台运行检测：

    # Check if the script is already running
if [ "$1" != "background" ]; then
    "$0" background &
    exit 0
fi

    这段代码用于检测脚本是否已经在后台运行，如果没有，则重新以后台模式启动自己。

  3. 初始化上次报告时间文件：

    # Initialize last report time file
last_report_time_file="last_report_time"
touch "$last_report_time_file"

    初始化用于存储上次报告时间的文件。

  4. 获取CPU总时间的函数：

    # Function to get the total CPU usage from /proc/stat
get_total_cpu_time() {
    awk '/^cpu / {print $2 + $3 + $4 + $5 + $6 + $7 + $8}' /proc/stat
}

    从 /proc/stat 文件中获取CPU总时间。

  5. 获取进程CPU时间的函数：

    # Function to get the process CPU usage from /proc/[pid]/stat
get_process_cpu_time() {
    pid=$1
    awk '{print $14 + $15 + $16 + $17}' /proc/$pid/stat
}

    从 /proc/[pid]/stat 文件中获取指定进程的CPU时间。

  6. 计算进程CPU使用率的函数：

    # Function to calculate CPU usage of a process
calculate_cpu_usage() {
    pid=$1
    prev_process_time=$(get_process_cpu_time "$pid")
    prev_total_time=$(get_total_cpu_time)
    sleep 1
    process_time=$(get_process_cpu_time "$pid")
    total_time=$(get_total_cpu_time)

    process_delta=$((process_time - prev_process_time))
    total_delta=$((total_time - prev_total_time))

    cpu_usage=$((100 * process_delta / total_delta))
    echo $cpu_usage
}

    计算指定进程的CPU使用率。

  7. 加载上次报告时间的函数：

    # Function to load the last report time for a PID
load_last_report_time() {
    pid=$1
    grep "^$pid=" "$last_report_time_file" | cut -d'=' -f2
}

    从文件中加载上次报告时间。

  8. 保存上次报告时间的函数：

    # Function to save the last report time for a PID
save_last_report_time() {
    pid=$1
    time=$2
    sed -i "/^$pid=/d" "$last_report_time_file"
    echo "$pid=$time" >> "$last_report_time_file"
}

    将上次报告时间保存到文件中。

  9. 进程监控列表：

    # List of process names to monitor
process_names="top systemd"

    定义需要监控的进程名称列表。

  10. 监控循环：

 while true; do
    current_time=$(date +%s)
    for process_name in $process_names; do
      if [ -n "$DEBUG_ON" ]; then
          echo "Checking process: $process_name"
      fi
  
      # Find all matching process PIDs
      pids=$(ps aux | grep "$process_name" | grep -v grep | awk '{print $2}')
      for pid in $pids; do
          # Calculate CPU usage
          cpu_usage=$(calculate_cpu_usage "$pid")
          # Check if CPU usage exceeds $max_cpu_usage%
          if [ "$cpu_usage" -gt $max_cpu_usage ]; then
              echo "High CPU usage detected for process '$process_name' (PID: $pid): $cpu_usage%"
              # Load the last report time for this PID
              last_time=$(load_last_report_time "$pid")
              last_time=${last_time:-0}
              time_diff=$((current_time - last_time))
  
              # Check if the last report time is more than 60 seconds ago
              if [ "$time_diff" -ge 60 ]; then
                  echo "time_diff: $time_diff, perf record -F 99 -e cpu-clock -p $pid -g -o perf-$process_name.data -- sleep $perf_sleep_time"
                  ps -p "$pid" -o pid,ppid,cmd,%mem,%cpu >> "$LOGFILE"
                  perf record -F 99 -e cpu-clock -p $pid -g -o "perf-$process_name.data" -- sleep $perf_sleep_time
                  # Save the last report time for this PID
                  save_last_report_time "$pid" "$current_time"
  
                  # sleep for 1 second
                  sleep 1
              fi
          else
              if [ -n "$DEBUG_ON" ]; then
                  echo "CPU usage for process '$process_name' (PID: $pid): $cpu_usage%"
              fi
          fi
      done
  done
  done

这是主要的监控循环，定期检查指定进程的CPU使用率，并在超过阈值时使用 perf 抓取详细信息。

4. 完整脚本实现

以下是优化后的Shell脚本，适用于普通嵌入式系统：

#!/bin/sh

# This script monitors the CPU usage of a list of processes

DEBUG_ON=1
# Log file location
LOGFILE="process_monitor.log"

# Redirect standard input, output, and error to log file
exec 1>>"$LOGFILE"
exec 2>>"$LOGFILE"

# Check if the script is already running
if [ "$1" != "background" ]; then
    "$0" background &
    exit 0
fi

# Initialize last report time file
last_report_time_file="last_report_time"
touch "$last_report_time_file"

# Function to get the total CPU usage from /proc/stat
get_total_cpu_time() {
    awk '/^cpu / {print $2 + $3 + $4 + $5 + $6 + $7 + $8}' /proc/stat
}

# Function to get the process CPU usage from /proc/[pid]/stat
get_process_cpu_time() {
    pid=$1
    awk '{print $14 + $15 + $16 + $17}' /proc/$pid/stat
}

# Function to calculate CPU usage of a process
calculate_cpu_usage() {
    pid=$1
    prev_process_time=$(get_process_cpu_time "$pid")
    prev_total_time=$(get_total_cpu_time)
    sleep 1
    process_time=$(get_process_cpu_time "$pid")
    total_time=$(get_total_cpu_time)

    process_delta=$((process_time - prev_process_time))
    total_delta=$((total_time - prev_total_time))

    cpu_usage=$((100 * process_delta / total_delta))
    echo $cpu_usage
}

# Function to load the last report time for a PID
load_last_report_time() {
    pid=$1
    grep "^$pid=" "$last_report_time_file" | cut -d'=' -f2
}

# Function to save the last report time for a PID
save_last_report_time() {
    pid=$1
    time=$2
    sed -i "/^$pid=/d" "$last_report_time_file"
    echo "$pid=$time" >> "$last_report_time_file"
}

# List of process names to monitor
process_names="top systemd"


echo "Monitoring CPU usage for processes: $process_names"

# Perf sleep time
perf_sleep_time=10
max_cpu_usage=80

# Monitoring loop
while true; do
    current_time=$(date +%s)
    for process_name in $process_names; do
        if [ -n "$DEBUG_ON" ]; then
            echo "Checking process: $process_name"
        fi

        # Find all matching process PIDs
        # pids=$(ps | grep "$process_name" | grep -v grep | awk '{print $1}')
        pids=$(ps aux | grep "$process_name" | grep -v grep | awk '{print $2}')
        for pid in $pids; do
            # Calculate CPU usage
            cpu_usage=$(calculate_cpu_usage "$pid")
            # Check if CPU usage exceeds $max_cpu_usage%
            if [ "$cpu_usage" -gt $max_cpu_usage ]; then
                echo "High CPU usage detected for process '$process_name' (PID: $pid): $cpu_usage%"
                # Load the last report time for this PID
                last_time=$(load_last_report_time "$pid")
                last_time=${last_time:-0}
                time_diff=$((current_time - last_time))

                # Check if the last report time is more than 60 seconds ago
                if [ "$time_diff" -ge 60 ]; then
                    echo "time_diff: $time_diff, perf record -F 99 -e cpu-clock -p $pid -g -o perf-$process_name.data -- sleep $perf_sleep_time"
                    ps -p "$pid" -o pid,ppid,cmd,%mem,%cpu >> "$LOGFILE"
                    perf record -F 99 -e cpu-clock -p $pid -g -o "perf-$process_name.data" -- sleep $perf_sleep_time
                    # Save the last report time for this PID
                    save_last_report_time "$pid" "$current_time"

                    # sleep for 1 second
                    sleep 1
                fi
            else
                if [ -n "$DEBUG_ON" ]; then
                    echo "CPU usage for process '$process_name' (PID: $pid): $cpu_usage%"
                fi
            fi
        done
    done

done

通过这种方式，我们可以有效地监控嵌入式系统中高CPU使用率的进程，并通过 perf 工具获取详细的性能数据，帮助我们进行性能调优和问题排查。

橘色的喵
关注
  • 17
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
linux性能调优汇总(一)cpu
文艺小少年的博客
03-23 202
本部分主要介绍日常开发中，经常使用的程序性能调试命令及思路，主要分为CPU、内存、磁盘IO三部分 本章主要介绍CPU部分
shell脚本检测进程的CPU内存占用率
Tracytang97的博客
06-28 3479
把xxx替换为自己进程的名字，然后直接运行该脚本即可在当前目录下产生一个叫做memory_info.txt的文件，记录进程的CPU内存占用率信息。可以用来查看自己进程对系统资源的消耗情况。
linux中监控CPU、内存和磁盘状态的shell脚本。（centos7）
11-21 4788
　　这篇博客中所写的脚本，在实际工作中并没有什么卵用，工作中并不会用到这种脚本去监控。不过自己写一遍，可以让初学者对CPU、内存、磁盘等一些基础知识和基础命令更加了解。 1、利用vmstat工具监控CPU详细信息，然后基于/proc/stat计算CPU利用率进行监控，超过80报警并提取出占用cpu最高的前十进程。 vmstat是Linux系统监控工具，使用vmstat命令可以得到关于...
转：使用Shell脚本对Linux系统和进程资源进行监控
weixin_30674525的博客
06-26 1172
转：使用Shell脚本对Linux系统和进程资源进行监控 检查进程是否存在 在对进程进行监控时，我们一般需要得到该进程的 ID，进程 ID 是进程的唯一标识，但是有时可能在服务器上不同用户下运行着多个相同进程名的进程，下面的函数 GetPID 给出了获取指定用户下指定进程名的进程 ID 功能（目前只考虑这个用户下启动一个此进程名的进程），它有...
shell 获取cpu使用情况
qq_34605417的博客
10-31 761
获取cpu使用率
Shell脚本编程——CPU使用率的监控
嵌入式Linux研发
03-16 3040
系统设计和应用编程中，常常要进行性能优化或负载问题排查，一般涉及到系统或进程的CPU使用率。CPU使用率可以反应系统的负载，也可以反应各个进程的具体情况。为了发现问题或调试程序，就有必要监控系统的CPU使用率。Linux系统中CPU使用率的监控工具有vmstat、mpstat、ps、top等。 1.  CPU使用率监控工具     CPU使用率的主要监控工具有： vmstat mpstat
Linux系统用shell监控CPU使用率
原来是赵先生呀！
04-20 3033
用shell监控CPU使用率 vim a.sh #!/bin/bash now=`date -u -d"+8 hour" +'%Y-%m-%d %H:%M:%S'` #cpu报警阈值 cpu_warn='75' #主代码 item_cpu () { cpu_idle=`top -b -n 1 | grep Cpu | awk '{print $8}'|cut -f 1 -d "."` cpu_use=`expr 100 - $cpu_idle` echo "$now 当前cpu使用率为 $cpu_use
Linux Perf性能分析常用手段(火焰图,gprof,kernelshark,bts)
tugouxp的专栏
09-07 3097
perf record 采集数据，还可以在采集时记录堆栈，然后在后期分析时根据堆栈进行聚合。perf report 分析数据给用户展示perf script 对数据进行脚本化处理、加工/分析。perf annotate 用来展示原始明细，可以看到指令、及其采用数、比例等，可以寻找热点。
perfdog使用教程_【工具使用】客户端性能测试工具perfdog使用初体验
weixin_32441957的博客
01-17 3034
前几天，收到一条【腾讯科技】邀请函，邀请体验腾讯最近推出的一款客户端性能测试工具PerfDog，因为我之前也做过客户端的性能测试，并且也构思过，做一款PC端的工具采集数据(当时的核心目的是让团队每个人都能参与到客户端性能测试中，降低门槛)。于是迫不及待的体验了PerfDog工具，这篇文章主要记录体验的过程以及我个人的思考点。安装可以直接访问perfDog的官网，里面详细介绍了PerfDog是移动全...
服务器负载、CPU性能调优
悦分享
07-22 1059
总核数 = 物理CPU个数 X 每颗物理CPU的核数 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 查看物理CPU个数： 查看每个物理CPU中core的个数(即核数) ： 查看逻辑CPU的个数： 查看CPU信息（型号） : 查看内 存信息 : 查看CPU信息： 执行结果如下：解析： Flags是标识了一些cpu的特征 具体可以查看： /proc/cpuinfo 里的 CPU flags_nemo2011的博客-CSDN博客_cpu flags在li
shell脚本监控系统负载、CPU和内存使用情况
01-20
在没有nagios监控软件的情况下，只要服务器能上互联网，就可通过发邮件的方式来提醒管理员系统负载与CPU占用的使用情况。 一、安装linux下面的一个邮件客户端msmtp软件(类似于一个foxmail的工具)  1、下载安装：  http://downloads.sourceforge.net/msmtp/msmtp-1.4.16.tar.bz2?modtime=1217206451&big_mirror=0 代码如下: # tar jxvf msmtp-1.4.16.tar.bz2 # cd msmtp-1.4.16 # ./configure –prefix=/usr/local/m
Linux性能优化笔记
wu_amber的博客
03-20 2240
CPU性能监控解析 首先，最容易想到的应该是 CPU 使用率，这也是实际环境中最常见的一个性能指标。 CPU 使用率描述了非空闲时间占总 CPU 时间的百分比，根据 CPU 上运行任务的不同，又被分为用户CPU、系统CPU、等待I/O CPU、软中断和硬中断等。 用户 CPU 使用率，包括用户态 CPU 使用率（user）和低优先级用户态 CPU 使用率（nice），表示 CPU 在用户态运行的...
shell进程监控
bigfanofloT的博客
07-20 271
#! /bin/sh proc_name="boa" #进程名 proc_num() #查询进程数量 { num=$(ps -ef | grep $proc_name | grep -v grep | wc -l) return $num } proc_num number=$? #获取进程数量 if [ $number -eq 0 ]
linux cpu警报,Linux Shell脚本通过电子邮件警报监视CPU使用率
weixin_32815027的博客
05-12 390
Linux Shell脚本通过电子邮件警报监视CPU使用率有许多开源监视工具可用于监视Linux系统的性能，当系统达到给定的阈值限制时，这些工具将发送电子邮件警报。它监视所有内容，例如CPU利用率，内存利用率，交换利用率，磁盘空间利用率等等。如果您只有少数几个系统并且要监视它们，那么编写一个小的Shell脚本就可以实现。在本教程中，我们添加了两个Shell脚本来监视Linux系统上的CPU使用率。...
shell脚本 监控系统资源利用率cpu 内存 磁盘
测试人的成长日志
07-06 4077
shell脚本 监控系统资源利用率cpu 内存 磁盘方法1：主要功能：获取内存、cpu、磁盘利用率，当高于阈值时写入到文件中 试验了代码可以通过，在这段是网上找的，感谢网友分享（Linux 操作系统使用Shell脚本监控CPU、磁盘、内存使用率 - 腾讯云开发者社区-腾讯云）#!/bin/bash ############################################## #Filename: jiankong.sh #Description: 监控cpu、磁盘、内存使用率 #######
shell编程之系统进程监控
02-24 461
本文内容是根据网络上一篇博文使用shell脚本对linux系统和进程资源进行监控对其验证学习的总结。 主要是通过常用的 shell 命令来对系统的运行状态进行监控，另一方面也是对学习的 shell 命令的实战。 涉及的命令 系统相关 ps 查看当前系统中进程信息 -u 指定所属用户 vimstat 展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况 文本处理 grep 查找文件中匹配符号字符串的行 -v 反向选择,用于剔除包含’某些字
DJ8-3 shell 进程监控（ps、sleep、kill）
狂放不羁霸的博客
05-22 604
8.6 进程监控 8.6.1 获取进程状态信息：ps 命令 8.6.2 暂停进程运行：sleep 命令 8.6.3 终止进程运行：kill 命令
使用shell脚本编写监控系统资源(CPU,内存,磁盘)使用情况
最新发布
博客之路,前途漫漫
06-29 2007
在现代计算机系统中，确保系统资源的高效利用和及时响应异常情况至关重要。对于系统管理员和开发人员来说，监控CPU、内存和磁盘使用情况是日常维护的核心任务之一。Shell脚本作为一种强大而灵活的工具，能够帮助我们自动化这些监控任务，实时获取系统资源使用情况，并在资源使用超过设定阈值时及时发出警报。
linux cpu使用率过高排查
07-16
在排查 Linux 系统 CPU 使用率过高的问题时，可以使用以下几个命令来帮助查找问题: 1. `top`: 显示当前系统中各进程的 CPU 使用情况。 2. `htop`: 类似于 top，但提供了更多的信息，如各进程的内存使用情况。 3. `ps -eo pcpu,pid,user,args | sort -k 1 -r | less`: 按照 CPU 使用率排序，列出所有进程的详细信息。 4. `lscpu`: 显示有关 CPU 架构的信息 5. `free -m`: 显示系统中内存使用情况 6. `iostat` : 可以查看磁盘 I/O 使用状态 这些命令可以帮助您查找高 CPU 使用率的进程，并查找导致问题的根本原因。 如果进程中有明显的问题的话，可以使用 kill -9 pid 来结束进程. 但是, 在结束进程之前, 请务必确定进程是否真的有问题。 另外，也可以使用更加专业的工具，如`perf`,`gdb`等来跟踪排查问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

橘色的喵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值