Linux环境下程序的多核CPU占用率高的问题分析和解决

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/baidu_38943918/article/details/81482608

1.项目问题

前端PDC双目倾斜相机客流统计项目中排查平台服务程序延时大的问题时,平台demo程序测试发现多核cpu中的某个核的占用率达到100%,导致组件中的目标检测线程和客流统计线程的单帧耗时达不到实时,存在延时和丢帧的问题。通过使用strace、pstack进行程序分析,最终找到导致单核占用率很高的原因和解决方法。本文详细描述了该问题的排查过程,并对排查流程做了相关总结。

2.背景技术及术语解释

在任务管理器的一个刷新周期内,CPU忙(执行应用程序)的时间和刷新周期总时间的比率,就是CPU的占用率,也就是说,任务管理器中显示的是每个刷新周期内CPU占用率的统计平均值。

3.方案详细描述

1)CPU占用率概念,以及top命令和tegrastats命令的使用

在任务管理器的一个刷新周期内,CPU忙(执行应用程序)的时间和刷新周期总时间的比率,就是CPU的占用率,也就是说,任务管理器中显示的是每个刷新周期内CPU占用率的统计平均值。top命令经常用来监控linux的系统状况,比如cpu、内存的使用,显示各进程(任务)的状态监控。

如图1所示。

PID                         —       进程id

USER                     —       进程所有者

PR                          —        进程优先级

NI                           —        nice值。负值表示高优先级,正值表示低优先级

VIRT                      —        进程使用的虚拟内存总量,单位kb。VIRT=SWAP+RES

RES                      —        进程使用的、未被换出的物理内存大小,单位kb。RES=CODE+DATA

SHR                      —        共享内存大小,单位kb

S                           —        进程状态。

                D = 不可中断的睡眠状态

                R = 运行

                S = 睡眠

                T = 跟踪/停止

               Z = 僵尸进程

%CPU                 —         上次更新到现在的CPU时间占用百分比

%MEM                —          进程使用的物理内存百分比

TIME+                 —          进程使用的CPU时间总计,单位1/100秒

COMMAND         —          进程名称(命令名/命令行)示各个进程(任务)

 

./tegrastats命令经常用来监控linux的系统显存使用情况,也包含cpu、内存的使用状态,对设备的状态进行监控和显示。如图2所示。

RAM       —     内存占用

SWAP     —     交换区

cache      —     缓存

cpu          —     cpu各个核心的资源占用

EMC        —     内存频率

AVP         —     音频资源

VDE         —     视频资源

GR3D      —      GPU消耗

 

2)CPU占用率过高的问题现象和排查过程

前端PDC双目倾斜相机客流统计项目中排查平台服务程序延时大的问题时,平台demo程序测试发现多核cpu中的某个核的占用率达到100%,导致组件中的目标检测线程和客流统计线程的单帧耗时达不到实时,存在延时和丢帧的问题。Top和tegrastats命令执行,得到的状态如下图3所示。

图3 cpu占用率高的top和tegrastats命令的显示状态

因为这是个多线程的进程,实际上占用cpu的最小单位是线程,所以肯定是众线程中的某一个或几个占用CPU过 高 导 致 的 。 用 下 面 的 命 令 将cpu占 用 率 高 的 线 程 找 出 来:ps H -eo user,pid,ppid,tid,time,%cpu,cmd --sort=%cpu

直接使用ps Hh-eo pid,tid,pcpu | sort-nk3 |tail   获取对于的进程号和线程号,如下图4所示。

 

如上图所示我们可以看出id为17758的线程cpu占用率最高。运行strace命令,可以看到每个线程的

调用堆栈。如下图6所示。

 

图6strace命令各个线程的堆栈状态

执行pstack脚本,看该线程的调用堆栈,很容易看出在哪一步逻辑上导致了busy loop。如下图7所示。

图7pstack脚本找出导致busyloop的代码行

根据提示,找到对应的代码行,消除busy loop代码,解决cpu占用率高的问题。

 

3)避免CPU高占用率的方法

通过以上分析,平台demo程序中的main函数中的死循环占用了大量的cpu资源,导致多核cpu中的某个核的占用率达到100%。通过修改demo程序,去掉busy loop,可以避免单核占用率达到100%的问题。同时针对多核cpu中存在0核或者其他核的占用率高的问题,将多个线程处理过程绑定到不同的cpu上,使得多核cpu负载均匀,降低线程处理的耗时。绑核前后的0核cpu占用率见下图8所示。

图8绑核前后的0核cpu占用率

 

4)正确的线程绑核

Cpu绑核时,应将子线程绑定到不同的cpu核,是cpu的各个核负载均衡。如果将主线程绑核,会导致子线程的绑核不生效。如下图所示。

图9主线程不绑核cpu占用率

图10主线程绑0核cpu占用率

图11主线程绑1核cpu占用率线程的cpu

绑核是通过设置线程的调度亲缘性来实现的。因为Linux操作系统下进程和线程的创建都是通过系统调用clone来实现的,所以实际上调度亲缘性也是被用pthread_create创建的线程所继承的。这意味着,如果主线程在创建其它线程之前设定亲缘性,那么它所设定的亲缘性将被继承,因为这时所有线程的亲缘性相同。

 

总结:

(1)程序中的高CPU占用率问题,可以通过strace工具和pstack脚本进行定位;

(2)CPU的高占用率可以通过消除代码中的busyloop和线程绑核的方式避免或使多核CPU负载均匀;

(3)多核CPU绑定时,应避免将主线程进行绑核,将处理子线程分别绑定至不同的CPU核,可以实现CPU负载均匀,提高运行效率;

展开阅读全文

没有更多推荐了,返回首页