最近发现服务器cpu、内存莫名的增高,可能还有一些是没用的进程,却占用着相当大的资源。直接ssh到服务器上看信息也不方便,所以就想着在zabbix监控端实现对这五花八门进程资源占用监控。
为了解决这个问题,最近在想通过zabbix的自动发现功能能不能实现自动发现占用服务器内存最大的N个进程,然后对这些进程占用内存和CPU的资源情况进行监控获取数据呢?于是就有了本篇文章的诞生。
首先,我们需要获取到top命令结果,可以使用下面的命令将top命令获取的结果重定向到一个文件中去:
top -b -n 1 >/tmp/top.txt
其中该命令的意思是执行一次top命令并将结果重定向到top.txt文件中去
将该命令添加到zabbix用户的计划任务中去,每分钟执行一次,命令如下:
crontab -e */1 * * * * top -b -n 1 >/tmp/top.txt
放进去之后在tmp目录下会生成一个top.txt文件
[root@bogon ~]# head -10 /tmp/top.txt top - 14:26:01 up 5 days, 5:16, 2 users, load average: 0.09, 0.04, 0.07 Tasks: 146 total, 3 running, 143 sleeping, 0 stopped, 0 zombie %Cpu(s): 0.4 us, 0.3 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st KiB Mem : 8011216 total, 184064 free, 7464604 used, 362548 buff/cache KiB Swap: 8257532 total, 2165112 free, 6092420 used. 299632 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 6566 root 20 0 6089568 1.585g 3716 S 6.2 20.8 22:15.21 java 19307 root 20 0 146016 1900 1376 R 6.2 0.0 0:00.01 top 1 root 20 0 44704 4968 2372 S 0.0 0.1 0:30.15 systemd
好了,获取到了数据后,就需要对数据进行处理了,下面是两个脚本,一个是为了获取占用内存资源最高的进程名,另一个是获取某进程占用内存和cpu资源的信息。先来看第一个脚本:
[root@bogon ~]# cat /home/scripts/check_process.sh #!/bin/bash TABLESPACE=`tail -n +8 /tmp/top.txt|awk '{a[$NF]+=$6}END{for(k in a)print a[k]/1024,k}'|sort -gr|head -10|cut -d" " -f2` COUNT=`echo "$TABLESPACE" |wc -l` INDEX=0 echo '{"data":[' echo "$TABLESPACE" | while read LINE; do echo -n '{"{#TABLENAME}":"'$LINE'"}' INDEX=`expr $INDEX + 1` if [ $INDEX -lt $COUNT ]; then echo ',' fi done echo ']}'
其中最关键的是`tail -n +8 /tmp/top.txt|awk '{a[$NF]+=$6}END{for(k in a)printa[k]/1024,k}'|sort -gr|head -10|cut -d" " -f2`这条命令:这条命令的意思是从top.txt文件中取出从第八行到末尾行的数据,然后使用awk对这些数据进行累加,效果是以最后一列为关键字,每个关键字对应的第6列的数值进行累加,输出第六列数据的累加结果和最后一列数据,然后使用sort进行排序,注意这里的参数是使用-gr而不是使用-nr是因为获取到的第六列的值是以KB为单位的,假如某进程占用内存大于10G的话,将会使用科学记数法计数,sort -nr参数无法对科学记数法进行计数,需要将参数改成-gr才行,其中的-r是进行反向排序,同时为了防止zabbix获取到该值是科学记数法获取的值从而无法识别,先将该值/1024将单位变成MB,当zabbix获取到数据后再*1024*1024将该值还原成BYTE单位。head -10是取出占用内存最大的十个进程,然后使用cut对数据进行切分,获得十个进程的进程名。至于下面的代码是将获取到的十个进程名进行json格式化的输出,输出结果如下:
$ sh ./scripts/check_process.sh {"data":[ {"{#TABLENAME}":"java"}, {"{#TABLENAME}":"docker"}, {"{#TABLENAME}":"nginx"}, {"{#TABLENAME}":"sshd"}, {"{#TABLENAME}":"tuned"}, {"{#TABLENAME}":"NetworkMa+"}, {"{#TABLENAME}":"zabbix_ag+"}, {"{#TABLENAME}":"systemd-j+"}, {"{#TABLENAME}":"crond"}, {"{#TABLENAME}":"rsyslogd"}]}
至于为啥要进行json格式化前面博客已经阐述过了,因为zabbix自动发现获取的值格式就是json格式化的值才能被识别到。
第二个脚本的作用就是获取某个进程占用的cpu和内存资源情况,脚本内容如下:
[root@bogon ~]# cat /home/scripts/processmonitor.sh #!/bin/bash process=$1 name=$2 case $2 in mem) echo "`tail -n +8 /tmp/top.txt|awk '{a[$NF]+=$6}END{for(k in a)print a[k]/1024,k}'|grep "$process"|cut -d" " -f1`" ;; cpu) echo "`tail -n +8 /tmp/top.txt|awk '{a[$NF]+=$9}END{for(k in a)print a[k],k}'|grep "$process"|cut -d" " -f1`" ;; *) echo "Error input:" ;; esac exit 0
该脚本的核心和上一个脚本的很相似,相信读者理解了上面的脚本在理解下面的脚本也是轻轻松松的啦。下面看该脚本执行的结果:
$ sh ./scripts/processmonitor.sh java mem 13115.5 $ sh ./scripts/processmonitor.sh java cpu 17.7
能获取到值了之后就需要在zabbix_agentd.conf里面配置相应的键值来获取数据了,下面是需要添加的配置:
$ tail -3 ./etc/zabbix_agentd.conf #top_process UserParameter=process.discovery,/home/scripts/check_process.sh UserParameter=process.resource[*],/home/scripts/processmonitor.sh $1 $2
添加该配置之后需要重启zabbix_agentd才能使配置生效,重启需要使用pkill zabbix && zabbix-3.0.5/sbin/zabbix_agentd
好了,这样,客户端这边就已经配置成功了,下面需要在服务端验证是否能够获取到数据了,在服务端使用zabbix_get命令来获取数据,下面是执行的结果:
$ zabbix/bin/zabbix_get -s xxx.xxx.xxx.xxx -k"process.discovery" {"data":[ {"{#TABLENAME}":"java"}, {"{#TABLENAME}":"docker"}, {"{#TABLENAME}":"nginx"}, {"{#TABLENAME}":"sshd"}, {"{#TABLENAME}":"tuned"}, {"{#TABLENAME}":"NetworkMa+"}, {"{#TABLENAME}":"zabbix_ag+"}, {"{#TABLENAME}":"systemd-j+"}, {"{#TABLENAME}":"rsyslogd"}, {"{#TABLENAME}":"bash"}]}
上面的xxx.xxx.xxx.xxx代表的是客户端的IP地址,-k后面的参数就是刚刚我们在客户端上面添加的参数。
$ zabbix/bin/zabbix_get -s xxx.xxx.xxx.xxx -k"process.resource[java,mem]"
13115.6
$ zabbix/bin/zabbix_get -s xxx.xxx.xxx.xxx -k"process.resource[java,cpu]"
0
好了,在服务端测试客户端没有问题,能够获取到数据了。接下来就需要在web端配置模板了。
在组态---》模板---》创建模板里面创建一个模板,叫做temple top_process如下图所示:
创建一个应用集叫做top of process resource,如下图所示:
创建好后,需要添加探索规则了,这是我们的重头戏。新建探索规则,如下图所示:
其中的键值就是我们在客户端上面配置的键值,数据更新间隔我这里设置为5分钟,就是说每间隔5分钟它就会去客户端获取占用内存最大的十个进程,然后取它们的内存和cpu占用资源数据。下面就需要配置项目原型了,如下图所示:
如上图所示,{#TABLENAME}获取的就是十个进程名的列表,process.resource[{#TABLENAME},mem]就是我们在客户端配置的键值,其中获取的内存数值单位是MB,这里将它转换成BYTE单位,所以将获取到的数值*1024*1024=1048576,单位改成Byte,将该项目应用到top of process resourceying应用集上。这样,一个项目原型就做成功了。下面是cpu占用资源的项目原型配置:
添加完项目原型后需要配置图形原型,如下图所示:
添加好图形原形后,改模版就制作成功了,接下来将该模板添加到主机上,就能够获取到数据了,这里因为我设置的自动发现时间间隔是5分钟,所以需要等待五分钟以上才会出现图形,下面是出现的图形效果。
这就是获取到的十个占用内存最大的进程的占用资源图形,下面是详细效果。
这是刚获取到的数据,至此,通过自动发现获取top10进程占用资源的监控结束,这只是本人匆忙之中写出的一个监控方式,拿出来给大家作参考,如果有更好的方式,可以和我共同探讨,大家共同进步,zabbix模板我将会放在附件中供大家下载。
转载于:https://blog.51cto.com/xiumin/1870209