xp系统占用空间越来越大_大数据平台业务空闲状态下系统占用大量CPU

近期在一个项目上，使用前两年服务器部署了一套大数据集群，在空闲状态下监控发现CPU利用率居然达到了60%以上，该系统上进行操作都会特别卡，服务器虽然比较老，但仍有48核的一个配置，明显有些问题导致异常。

通过TOP命令监控，发现cpu的使用率接近60%，sys占用在50%左右，user有10-20。查看进场发现有大量的内核线程[kworker]占用比较多的使用率。

顺着这个方向排查。[kworker]这种内核线程使用的是内核工作队列模式，1个cpu就产生对应的1个内核线程。参考了这个文章：https://yq.aliyun.com/articles/504369

里面有说到kworker的排查方面，即用ftrace命令，排查workqueue_queue_work中什么函数调用最多。

在机器上安装ftrace，参考文章：https://linux.cn/article-9273-1.html

apt-get install trace-cmd

装上后运行一段时间查看

trace-cmd record -e workqueue:workqueue_queue_work

trace-cmd report > result

把结果保存到result后，进行分析结果得出：

这个dbs_timer的function运行数量极大。关键字搜索一下，感觉有点是这个引起的问题，因为这个函数是跟cpu动态调整频率有关系，而cpu调频是用来省电用的

具体通过学习了cpufreq的知识：

https://www.ibm.com/developerworks/cn/linux/l-cn-cpufreq/index.html

http://abcdxyzk.github.io/blog/2015/08/12/kernel-cpufreq/

里面提到一点：

Cpufreq 作为一个子系统最早被加入到 Linux 内核中时只配备了 governors ，分别是performance、powersave 和 userspace，ondemand。当用户选择使用 performance governor 时，CPU会固定工作在其支持的最高运行频率上；当用户选择使用 powersave governor 时，CPU会固定工作在其支持的最低运行频率上。因此这两种 governors 都属于静态 governor ，即在使用它们时CPU 的运行频率不会根据系统运行时负载的变化动态作出调整。这两种governors 对应的是两种极端的应用场景，使用 performance governor 体现的是对系统高性能的最大追求，而使用 powersave governor 则是对系统低功耗的最大追求。

安装下面的软件查看配置：

apt-get install cpufrequtils

但是我们的cpu配置是这样的：

初步怀疑：cpu的动态调频策略，导致每隔一段时间就要执行od_dbs_timers函数(调用dbs_timers的调用者)，来判断cpu是否要进行降频或者升频，因为我们的进程数量特别多，所以也可能会加快这个策略的运行频率。最后就导致kworker占用比较高的资源。

为了确认是否这个引起的，下午7点多的时候在3台机器上进行了验证，把cpufreq的策略改为performance，这个策略上面说过cpu将不会进行调频，这3台机器都是kworker还处于比较高使用率情况的

for i in $(ls /sys/devices/system/cpu/*/cpufreq/scaling_governor);do echo performance > $i;done

查看实际的模式是否修改完成

等待片刻后，load average 下降很多， kworker也从top命令的首页中消失，cpu的sys和user使用率也降低，说明这个改动是有效的。

在大数据集群这类服务中，安装组件比较多，包括HDFS、YARN、Hive、HBase、Spark等服务，进程数量也比较多的服务器上，应该要关闭这个调频功能，虽然不省电，但至少可以避免在负载出现一定程度的情况下内核线程反而会加大cpu资源消耗的情况。

补充：CPU调频策略说明

CPU动态节能技术用于降低服务器功耗，通过选择系统空闲状态不同的电源管理策 略，可以实现不同程度降低服务器功耗，更低的功耗策略意味着CPU唤醒更慢对性能 影响更大。对于对时延和性能要求高的应用，建议关闭CPU的动态调节功能，禁止 CPU休眠，并把CPU频率固定到最高。通常建议在服务器BIOS中修改电源管理为Performance，如果发现CPU模式为conservative或者powersave，可以使用cpupower设置CPU Performance模式，效果也是相当显著的。

cpufreq是一个动态调整cpu频率的模块，系统启动时生成一个文件夹/sys/devices/system/cpu/cpu0/cpufreq/，里面有几个文件，其中scaling_min_freq代表最低频率，scaling_max_freq代表最高频率，scalin_governor代表cpu频率调整模式，用它来控制CPU频率。

cd /sys/devices/system/cpu/cpu0/cpufreq/affected_cpusbios_limitcpuinfo_cur_freqcpuinfo_max_freqcpuinfo_min_freqcpuinfo_transition_latencyfreqdomain_cpusrelated_cpusscaling_available_frequenciesscaling_available_governorsscaling_cur_freqscaling_driverscaling_governorscaling_max_freqscaling_min_freqscaling_setspeed# 查看当前的调节器cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governorconservative# 查看频率信息cpupower frequency-infoanalyzing CPU 0:  driver: acpi-cpufreq  CPUs which run at the same hardware frequency: 0  CPUs which need to have their frequency coordinated by software: 0  maximum transition latency: 10.0 us  hardware limits: 800 MHz - 2.10 GHz  available frequency steps:  2.10 GHz, 2.10 GHz, 2.00 GHz, 1.90 GHz, 1.80 GHz, 1.70 GHz, 1.60 GHz, 1.50 GHz, 1.40 GHz, 1.30 GHz, 1.20 GHz, 1.10 GHz, 1000 MHz, 900 MHz, 800 MHz  available cpufreq governors: conservative userspace powersave ondemand performance  current policy: frequency should be within 800 MHz and 2.10 GHz.                  The governor "performance" may decide which speed to use                  within this range.  current CPU frequency: Unable to call hardware  current CPU frequency: 2.10 GHz (asserted by call to kernel)  boost state support:    Supported: yes    Active: yes

1. performance: 顾名思义只注重效率，将CPU频率固定工作在其支持的最高运行频率上，而不动态调节。

2. Userspace:最早的cpufreq子系统通过userspace governor为用户提供了这种灵活性。系统将变频策略的决策权交给了用户态应用程序，并提供了相应的接口供用户态应用程序调节CPU 运行频率使用。也就是长期以来都在用的那个模式。可以通过手动编辑配置文件进行配置

3. powersave: 将CPU频率设置为最低的所谓“省电”模式，CPU会固定工作在其支持的最低运行频率上。因此这两种governors 都属于静态governor，即在使用它们时CPU 的运行频率不会根据系统运行时负载的变化动态作出调整。这两种governors 对应的是两种极端的应用场景，使用performance governor 是对系统高性能的最大追求，而使用powersave governor 则是对系统低功耗的最大追求。

4. ondemand: 按需快速动态调整CPU频率， 一有cpu计算量的任务，就会立即达到最大频率运行，等执行完毕就立即回到最低频率；ondemand：userspace是内核态的检测，用户态调整，效率低。而ondemand正是人们长期以来希望看到的一个完全在内核态下工作并且能够以更加细粒度的时间间隔对系统负载情况进行采样分析的governor。在 ondemand governor 监测到系统负载超过 up_threshold 所设定的百分比时，说明用户当前需要 CPU 提供更强大的处理能力，因此 ondemand governor 会将CPU设置在最高频率上运行。但是当 ondemand governor 监测到系统负载下降，可以降低 CPU 的运行频率时，到底应该降低到哪个频率呢？ondemand governor 的最初实现是在可选的频率范围内调低至下一个可用频率，例如 CPU 支持三个可选频率，分别为 1.67GHz、1.33GHz 和 1GHz ，如果 CPU 运行在 1.67GHz 时 ondemand governor 发现可以降低运行频率，那么 1.33GHz 将被选作降频的目标频率。

5. conservative: 与ondemand不同，平滑地调整CPU频率，频率的升降是渐变式的,会自动在频率上下限调整，和ondemand的区别在于它会按需分配频率，而不是一味追求最高频率；