Zabbix监控JVM（微服务进程）_zabbix java 微服务，2024年最新我在华为做软件测试外包的真实经历

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）

正文

O：old代已使用的占当前容量百分比

P：perm代已使用的占当前容量百分比

S0CMX：年轻代中第一个survivor（幸存区）的最大容量 (字节)

S1CMX ：年轻代中第二个survivor（幸存区）的最大容量 (字节)

ECMX：年轻代中Eden（伊甸园）的最大容量 (字节)

DSS：当前需要survivor（幸存区）的容量 (字节)（Eden区已满）

TT： 持有次数限制

MTT ： 最大持有次数限制

Jdk1.8中取消了永久区Perm

4、监控脚本

微服务全部放置在固定的目录内，自动发现微服务脚本为

cat java_discovery.py

#/usr/bin/python
#This script is used to discovery disk on the server
import subprocess
import os
import socket
import json
import glob

java_names_file=‘java_names.txt’
javas=[]
if os.path.isfile(java_names_file):

print ‘java_names_file exists!’

here should use % (java_names_file) instead of using the python variable java_names_file directly inside the ‘’’ ‘’’ quotes

args=‘’‘awk -F’:’ ‘{print $1’:‘$2}’ %s’‘’ % (java_names_file)
t=subprocess.Popen(args,shell=True,stdout=subprocess.PIPE).communicate()[0]
#elif glob.glob(‘/opt/xx/_tomcat’) and not os.path.isdir(‘/opt/logs/logstash’) and not os.path.isdir(‘/opt/app/elasticsearch/config’):
elif glob.glob('/data/work/service_jar/.jar’):
t=subprocess.Popen(‘cd /data/work/service_jar && ls *.jar|grep jar’,shell=True,stdout=subprocess.PIPE)

for java in t.stdout.readlines():
if len(java) != 0:
javas.append({‘{#JAVA_NAME}’:java.strip(‘\n’).strip(‘:’)})
print json.dumps({‘data’:javas},indent=4,separators=(‘,’,‘:’))

脚本内的目录可以自由修改

输出结果为json格式

python java_discovery.py

{
“data”:[
{
“{#JAVA_NAME}”:“insuranceService.jar”
},
{
“{#JAVA_NAME}”:“manageMiddle.jar”
},
{
“{#JAVA_NAME}”:“resourceService.jar”
},
{
“{#JAVA_NAME}”:“systemService.jar”
}
]
}

对微服务进行信息获取，并利用zabbix_sender发送的脚本为

cat jstat_status.py

#!/usr/bin/python

import subprocess
import sys
import os

maintainer = “Francis”

jps = ‘/data/jdk1.8/bin/jps’
jstat = ‘/data/jdk1.8/bin/jstat’
zabbix_sender = “/usr/bin/zabbix_sender”
zabbix_conf = “/etc/zabbix/zabbix_agentd.conf”
send_to_zabbix = 1
ip=os.popen(“ifconfig|grep 'inet '|grep -v ‘127.0’|xargs|awk -F ‘[ :]’ ‘{print $3}’”).readline().rstrip()
serverip=“172.19.138.53”

#“{#JAVA_NAME}”:“tomcat_web_1”

def usage():
“”“Display program usage”“”

print "\nUsage : “, sys.argv[0], " java_name alive|all”
print “Modes : \n\talive : Return pid of running processs\n\tall : Send jstat stats as well”
sys.exit(1)

class Jprocess:

def init(self, arg):
self.pdict = {
“jpname”: arg,
}

self.zdict = {
“Heap_used” : 0,
“Heap_ratio” : 0,
“Heap_max” : 0,
“Perm_used” : 0,
“Perm_ratio” : 0,
“Perm_max” : 0,
“S0_used” : 0,
“S0_ratio” : 0,
“S0_max” : 0,
“S1_used” : 0,
“S1_ratio” : 0,
“S1_max” : 0,
“Eden_used” : 0,
“Eden_ratio” : 0,
“Eden_max” : 0,
“Old_used” : 0,
“Old_ratio” : 0,
“Old_max” : 0,
“YGC” : 0,
“YGCT” : 0,
“YGCT_avg” : 0,
“FGC” : 0,
“FGCT” : 0,
“FGCT_avg” : 0,
“GCT” : 0,
“GCT_avg” : 0,

}

def chk_proc(self):

ps -ef|grep java|grep tomcat_web_1|awk ‘{print $2}’

print self.pdict[‘jpname’]

pidarg = ‘’‘ps -ef|grep java|grep %s|grep -v grep | grep -v jstat_status.py |awk ‘{print $2}’ ‘’’ %(self.pdict[‘jpname’])
#pidout = subprocess.Popen(pidarg,shell=True,stdout=subprocess.PIPE)
#pid = pidout.stdout.readline().strip(‘\n’)
pid = subprocess.check_output(pidarg, shell=True).strip()
if pid != “” :
self.pdict[‘pid’] = pid

print “Process found :”, java_name, “with pid :”, self.pdict[‘pid’]

else:
self.pdict[‘pid’] = “”

print “Process not found”

return self.pdict[‘pid’]

def get_jstats(self):
if self.pdict[‘pid’] == “”:
return False
self.pdict.update(self.fill_jstats(“-gc”))
self.pdict.update(self.fill_jstats(“-gccapacity”))
self.pdict.update(self.fill_jstats(“-gcutil”))

print “\nDumping collected stat dictionary\n-----\n”, self.pdict, “\n-----\n”

def fill_jstats(self, opts):

print “\nGetting”, opts, “stats for process”, self.pdict[‘pid’], “with command : sudo”, jstat, opts, self.pdict[‘pid’] ,“\n”

jstatout = subprocess.Popen([‘sudo’,‘-u’,‘tomcat’, jstat, opts, self.pdict[‘pid’]], stdout=subprocess.PIPE)

#print([jstat, opts, self.pdict[‘pid’]])
jstatout = subprocess.Popen([jstat, opts, self.pdict[‘pid’]], stdout=subprocess.PIPE)
stdout, stderr = jstatout.communicate()
legend, data = stdout.split(‘\n’,1)
mydict = dict(zip(legend.split(), data.split()))
return mydict

def compute_jstats(self):
if self.pdict[‘pid’] == “”:
return False
self.zdict[‘S0_used’] = format(float(self.pdict[‘S0U’]) * 1024,‘0.2f’)
self.zdict[‘S0_max’] = format(float(self.pdict[‘S0C’]) * 1024,‘0.2f’)
self.zdict[‘S0_ratio’] = format(float(self.pdict[‘S0’]),‘0.2f’)

self.zdict[‘S1_used’] = format(float(self.pdict[‘S1U’]) * 1024,‘0.2f’)
self.zdict[‘S1_max’] = format(float(self.pdict[‘S1C’]) * 1024,‘0.2f’)
self.zdict[‘S1_ratio’] = format(float(self.pdict[‘S1’]),‘0.2f’)

self.zdict[‘Old_used’] = format(float(self.pdict[‘OU’]) * 1024,‘0.2f’)
self.zdict[‘Old_max’] = format(float(self.pdict[‘OC’]) * 1024,‘0.2f’)
self.zdict[‘Old_ratio’] = format(float(self.pdict[‘O’]),‘0.2f’)

self.zdict[‘Eden_used’] = format(float(self.pdict[‘EU’]) * 1024,‘0.2f’)
self.zdict[‘Eden_max’] = format(float(self.pdict[‘EC’]) * 1024,‘0.2f’)
self.zdict[‘Eden_ratio’] = format(float(self.pdict[‘E’]),‘0.2f’)

self.zdict[‘Perm_used’] = format(float(self.pdict[‘PU’]) * 1024,‘0.2f’)

self.zdict[‘Perm_max’] = format(float(self.pdict[‘PC’]) * 1024,‘0.2f’)

self.zdict[‘Perm_ratio’] = format(float(self.pdict[‘P’]),‘0.2f’)

self.zdict[‘Heap_used’] = format((float(self.pdict[‘EU’]) + float(self.pdict[‘S0U’]) + float(self.pdict[‘S1U’]) + float(self.pdict[‘OU’])) * 1024,‘0.2f’)
self.zdict[‘Heap_max’] = format((float(self.pdict[‘EC’]) + float(self.pdict[‘S0C’]) + float(self.pdict[‘S1C’]) + float(self.pdict[‘OC’])) * 1024,‘0.2f’)
self.zdict[‘Heap_ratio’] = format(float(self.zdict[‘Heap_used’]) / float(self.zdict[‘Heap_max’])*100,‘0.2f’)

self.zdict[‘YGC’] = self.pdict[‘YGC’]
self.zdict[‘FGC’] = self.pdict[‘FGC’]
self.zdict[‘YGCT’] = format(float(self.pdict[‘YGCT’]),‘0.3f’)
self.zdict[‘FGCT’] = format(float(self.pdict[‘FGCT’]),‘0.3f’)
self.zdict[‘GCT’] = format(float(self.pdict[‘GCT’]),‘0.3f’)

if self.pdict[‘YGC’] == ‘0’:
self.zdict[‘YGCT_avg’] = ‘0’
else:
self.zdict[‘YGCT_avg’] = format(float(self.pdict[‘YGCT’])/float(self.pdict[‘YGC’]),‘0.3f’)
if self.pdict[‘FGC’] == ‘0’:
self.zdict[‘FGCT_avg’] = ‘0’
else:
self.zdict[‘FGCT_avg’] = format(float(self.pdict[‘FGCT’])/float(self.pdict[‘FGC’]),‘0.3f’)
if self.pdict[‘YGC’] == ‘0’ and self.pdict[‘FGC’] == ‘0’:
self.zdict[‘GCT_avg’] = ‘0’
else:
self.zdict[‘GCT_avg’] = format(float(self.pdict[‘GCT’])/(float(self.pdict[‘YGC’]) + float(self.pdict[‘FGC’])),‘0.3f’)

print “Dumping zabbix stat dictionary\n-----\n”, self.zdict, “\n-----\n”

def send_to_zabbix(self, metric):

{#JAVA_NAME} tomcat_web_1

UserParameter=java.discovery,/usr/bin/python /opt/app/zabbix/sbin/java_discovery.py

UserParameter=java.discovery_status[*],/opt/app/zabbix/sbin/jstat_status.sh $1 $2 $3 $4

java.discovery_status[tomcat_web_1,Perm_used]

java.discovery_status[{#JAVA_NAME},Perm_used]

key = “java.discovery_status[” + self.pdict[‘jpname’] + “,” + metric + “]”

if self.pdict[‘pid’] != “” and send_to_zabbix > 0:
#print key + “:” + str(self.zdict[metric])
try:

subprocess.call([zabbix_sender, “-c”, zabbix_conf, “-k”, key, “-o”, str(self.zdict[metric])], stdout=FNULL,stderr=FNULL, shell=False)
except OSError, detail:
print "Something went wrong while exectuting zabbix_sender : ", detail
else:
print “Simulation: the following command would be execucted :\n”, zabbix_sender, “-c”, zabbix_conf, “-k”, key, “-o”, self.zdict[metric], “\n”

accepted_modes = [‘alive’, ‘all’]

if len(sys.argv) == 3 and sys.argv[2] in accepted_modes:
java_name = sys.argv[1]
mode = sys.argv[2]
else:
usage()

#Check if process is running / Get PID
jproc = Jprocess(java_name)
pid = jproc.chk_proc()

if pid != “” and mode == ‘all’:
jproc.get_jstats()
#print jproc.zdict
jproc.compute_jstats()
FNULL = open(os.devnull, ‘w’)
for key in jproc.zdict:
#print key,jproc.zdict[key]
jproc.send_to_zabbix(key)
FNULL.close()

print pid

else:
print 0

触发脚本为

cat java_discovery_status_sender.py

#/usr/bin/python
#This script is used to discovery disk on the server
import subprocess
import os
import socket
import json
import glob

java_names_file=‘java_names.txt’
javas=[]
if os.path.isfile(java_names_file):

args=‘’‘awk -F’:’ ‘{print $1’:‘$2}’ %s’‘’ % (java_names_file)
t=subprocess.Popen(args,shell=True,stdout=subprocess.PIPE).communicate()[0]
elif glob.glob(‘/data/work/service_jar/*.jar’):
t=subprocess.Popen(‘cd /data/work/service_jar && ls *.jar|grep jar’,shell=True,stdout=subprocess.PIPE)
res=subprocess.check_output(‘cd /data/work/service_jar && ls *.jar|grep jar’,stderr=subprocess.STDOUT,shell = True)

for java in t.stdout.readlines():
if len(java) != 0:
javas.append({‘{#JAVA_NAME}’:java.strip(‘\n’).strip(‘:’)})
#print json.dumps({‘data’:javas},indent=4,separators=(‘,’,‘:’))

#print res

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
trip(‘\n’).strip(‘:’)})
#print json.dumps({‘data’:javas},indent=4,separators=(‘,’,‘:’))

#print res

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）
[外链图片转存中…(img-FZk3K5NE-1713171216909)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！