第4章Zabbix监控实践

最新推荐文章于 2023-10-10 13:32:31 发布

weixin_34248023

最新推荐文章于 2023-10-10 13:32:31 发布

阅读量195

点赞数

文章标签：网络 java awk

原文链接：http://blog.51cto.com/liangweilinux/2048941

版权

硬件监控：Zabbix IPMI Interface

系统监控：Zabbix Agent Interface

Java监控：Zabbix JMX Interface

网络设备监控：Zabbix SNMP Interface

应用服务监控：Zabbix Agent UserParameter

MySQL数据库监控：percona-monitoring-plulgins

URL监控：Zabbix Web 监控

这一下子把之前干的工作全集成到一个平台上了。而且之前编写的所有的应用服务的监控脚本，简单修改就可以使用。

同时也可以灵活的设置报警阈值、告警方式、告警升级、告警去重、告警依赖等等，同时还使用Zabbix的自动发现功能实现上线一台服务器后，自动添加监控。

使用Zabbix Proxy实现了多机房的分布式监控，这简直太棒了。

对于告警通知：邮件、微信、短信、钉钉等，都可以与Zabbix快速的集成，网上有很多此类文档。同时，针对某些可以进行直接处理的报警，Zabbix可以触发Action来轻松帮你实现，故障的自动处理。+

1.1硬件监控

通常我们的服务器上都会有远程控制卡，如Dell的iDRAC,HP的ILO和IBM的IMM等，可以通过Web界面来进行硬件的监控和管理工作，如果购买企业级的授权，还可以使用控制台进行管理。

在Linux下，通常我们使用IPMI来完成物理设备的监控工作，使用ipmi工具获取温度传感器的数据，大于50就发一份邮件给维护人员

故障回想：之前我司托管在北京某机房的设备就出现过，因为刚好所在机柜区域的空调坏了，导致服务器温度过高，然后系统宕机。

1.2系统监控

系统监控标准（CPU、内存、硬盘、网络、进程、TCP连接数）可以通过基础模板Template OS Linux(完全足够) 来监控,根据自己的业务来调整合适的触发器以及图形等，即可。

CPU：关于CPU，有3个重要的概念：上下文切换（context switchs），运行队列（Run queue）和使用率（utilization）。这也是我们CPU监控的三个重点。

通常情况下，每个处理器的运行队列要小于等于3，CPU 利用率中user/system比例维持在70/30，上下文切换要根据系统繁忙程度来综合考量。监控工具有：top vmstat mpstat。

内存：Linux虚拟内存是一个庞大的东东，通常我们需要监控内存的使用率、SWAP使用率、同时可以通过内存的使用率曲线来发现某些服务的内存溢出等。监控工具有：free vmstat。

IO：IO分为磁盘IO和网络IO。除了在做性能调优我们要监控更详细的数据外，那么日常监控，只关注磁盘使用率、io wait即可，网络也是监控网卡流量即可。监控工具有iostat iotop iftop。

TCP监控：在很多情况下有必要监控TCP的状态，可以使用netstat或者ss来获取所有的TCP连接，来展现11种不同的TCP连接状态的数量，可以在大并发中及时发现TCP的相关故障。

其它的系统监控：运行的进程数、登陆用户、文件加密等。

1.3应用监控

1.3.1TCP监控

1.配置所有Agent(标准化目录结构)

[root@linux-node1 ~]# vim /etc/zabbix/zabbix_agentd.conf #编辑配置文件引用key

Include=/etc/zabbix/zabbix_agentd.d/*.conf

[root@linux-node1 ~]# mkdir /etc/zabbix/scripts #存放Shell脚本

2.编写Shell脚本

[root@linux-node1 ~]# cd /etc/zabbix/scripts

[root@linux-node1 scripts]# vim tcp_status.sh

#!/bin/bash

############################################################

# $Name: tcp_status.sh

# $Version: v1.0

# $Function: TCP Status

# $Author: xuliangwei

# $organization: www.xuliangwei.com

# $Create Date: 2016-06-23

# $Description: Monitor TCP Service Status

############################################################

tcp_status_fun(){

TCP_STAT=$1

ss -ant | awk 'NR>1 {++s[$1]} END {for(k in s) print k,s[k]}' > /tmp/ss.txt

TCP_STAT_VALUE=$(grep "$TCP_STAT" /tmp/ss.txt | cut -d ' ' -f2)

if [ -z "$TCP_STAT_VALUE" ];then

TCP_STAT_VALUE=0

echo $TCP_STAT_VALUE

}

tcp_status_fun $1;

添加执行权限

[root@linux-node1 scripts]# chmod +x tcp_status.sh

2.key的linux_tcp.conf的子配置文件如下：

[root@linux-node1 ~]# cat /etc/zabbix/zabbix_agentd.d/tcp.conf

UserParameter=tcp_status[*],/bin/bash /etc/zabbix/scripts/tcp_status.sh "$1"

3.重启zabbix-agent,修改配置文件必须重启

[root@linux-node1 ~]# systemctl restart zabbix-agent

4.测试一定使用Zabbix_get获取值(不要直接执行脚本)

[root@linux-node1 scripts]# zabbix_get -s 192.168.90.11 -k tcp_status[ESTAB]

5.展示所有Key(记得将模板关联主机)

图 4-1

6.查看图形(图形是自定义)

图4-2

7.完成后，将模板导出保存，方便以后二次使用，这辈子在也不用添加11次Key了。

1.3.2Nginx监控

1.配置所有Agent(标准化目录结构)

[root@linux-node1 ~]# vim /etc/zabbix/zabbix_agentd.conf #编辑配置文件引用key

Include=/etc/zabbix/zabbix_agentd.d/*.conf

[root@linux-node1 ~]# mkdir /etc/zabbix/scripts #存放Shell脚本

2.在nginx.conf的Server标签中添加如下内容(如果nginx通过saltstack等配置管理工具进行统一管理,则需要在模板中统一加入这段配置)

location /nginx_status {

stub_status on;

access_log off;

allow 127.0.0.1;

deny all;

}

3.本地访问Nginx Status测试

[root@linux-node1 ~]# curl http://127.0.0.1/nginx_status

Active connections: 1

server accepts handled requests

1 1 1

Reading: 0 Writing: 1 Waiting: 0

Nginx状态解释：

Active connections Nginx正处理的活动链接数1个

server Nginx启动到现在共处理了1个连接。

accepts Nginx启动到现在共成功创建1次握手。

handled requests Nginx总共处理了1次请求。

Reading Nginx读取到客户端的 Header 信息数。

Writing Nginx返回给客户端的 Header 信息数。

Waiting Nginx已经处理完正在等候下一次请求指令的驻留链接，开启。

Keep-alive的情况下，这个值等于active-（reading + writing）。

请求丢失数=(握手数-连接数)可以看出,本次状态显示没有丢失请求。

4.编写Nginx的Shell脚本(如果端口不一致,只需要修改脚本端口即可)

[root@linux-node1 ~]# cd /etc/zabbix/scripts

[root@linux-node1 scripts]# vim nginx_status.sh

#!/bin/bash

############################################################

# $Name: nginx_status.sh

# $Version: v1.0

# $Function: Nginx Status

# $Author: xuliangwei

# $organization: www.xuliangwei.com

# $Create Date: 2016-06-23

# $Description: Monitor Nginx Service Status

############################################################

NGINX_PORT=80 #如果端口不同仅需要修改脚本即可，否则修改xml很麻烦

NGINX_COMMAND=$1

nginx_active(){

/usr/bin/curl -s "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" |awk '/Active/ {print $NF}'

}

nginx_reading(){

/usr/bin/curl -s "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" |awk '/Reading/ {print $2}'

}

nginx_writing(){

/usr/bin/curl -s "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" |awk '/Writing/ {print $4}'

}

nginx_waiting(){

/usr/bin/curl -s "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" |awk '/Waiting/ {print $6}'

}

nginx_accepts(){

/usr/bin/curl -s "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" |awk 'NR==3 {print $1}'

}

nginx_handled(){

/usr/bin/curl -s "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" |awk 'NR==3 {print $2}'

}

nginx_requests(){

/usr/bin/curl -s "http://127.0.0.1:"$NGINX_PORT"/nginx_status/" |awk 'NR==3 {print $3}'

}

case $NGINX_COMMAND in

active)

nginx_active;

;;

reading)

nginx_reading;

;;

writing)

nginx_writing;

;;

waiting)

nginx_waiting;

;;

accepts)

nginx_accepts;

;;

handled)

nginx_handled;

;;

requests)

nginx_requests;

;;

echo $"USAGE:$0 {active|reading|writing|waiting|accepts|handled|requests}"

esac

给脚本添加执行权限

[root@linux-node1 scripts]# chmod +x nginx_status.sh

5.key的nginx_status.conf的子配置文件如下：

[root@linux-node1 ~]# cat /etc/zabbix/zabbix_agentd.d/nginx_status.conf

UserParameter=nginx_status[*],/bin/bash /etc/zabbix/zabbix_agentd.d/scripts/nginx/nginx_status.sh "$1"

6.重启zabbix-agent

[root@linux-node1 ~]# systemctl restart zabbix-agent

7.测试一定使用Zabbix_get来获取值

[root@linux-node1 ~]# zabbix_get -s 192.168.90.11 -k nginx_status[writing]

8.展示所有Key(记得将模板关联主机)如图4-3

图4-3

9.查看图形，如图4-4(图形自定义)

图4-4

1.3.3PHP-FPM监控

1.配置所有Agent(标准化目录结构)

[root@linux-node1 ~]# vim /etc/zabbix/zabbix_agentd.conf #编辑配置文件引用key

Include=/etc/zabbix/zabbix_agentd.d/*.conf

[root@linux-node1 ~]# mkdir /etc/zabbix/scripts #存放Shell脚本

2.PHP-FPM工作模式通常与Nginx结合使用,修改php-fpm.conf(找到自己的php-fpm.conf存放路径)

[root@linux-node1 ~]# vim /etc/php-fpm.d/www.conf #我php-fpm存放路径

pm.status_path = /phpfpm_status

3.修改nginx.conf的配置文件,通过Nginx访问PHP-FPM状态。

location ~ ^/(phpfpm_status)$ {

include fastcgi_params;

fastcgi_pass 127.0.0.1:9000;

fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

}

4.访问测试phpfpm_status

[root@linux-node4 conf.d]# curl http://127.0.0.1/phpfpm_status

pool: www

process manager: dynamic

start time: 05/Jul/2016:15:30:56 +0800

start since: 409

accepted conn: 22

listen queue: 0

max listen queue: 0

listen queue len: 128

idle processes: 4

active processes: 1

total processes: 5

max active processes: 2

max children reached: 0

PHP-FPM状态解释：

pool #fpm池名称,大多数为www

process manager #进程管理方式dynamic或者static

start time #启动日志,如果reload了fpm，时间会更新

start since #运行时间

accepted conn #当前池接受的请求数

listen queue #请求等待队列,如果这个值不为0,那么需要增加FPM的进程数量

max listen queue #请求等待队列最高的数量

listen queue len #socket等待队列长度

idle processes #空闲进程数量

active processes #活跃进程数量

total processes #总进程数量

max active processes #最大的活跃进程数量（FPM启动开始计算）

max children reached #程最大数量限制的次数，如果这个数量不为0，那说明你的最大进程数量过小,可以适当调整。

4.编写php-fpm的Shell脚本(如果端口不一致,只需要修改脚本端口即可)

[root@linux-node1 ~]# cd /etc/zabbix/scripts

[root@linux-node1 scripts]# vim phpfpm_status.sh

#!/bin/bash

############################################################

# $Name: phpfpm_status.sh

# $Version: v1.0

# $Function: Nginx Status

# $Author: xuliangwei

# $organization: www.xuliangwei.com

# $Create Date: 2016-06-23

# $Description: Monitor Nginx Service Status

############################################################

PHPFPM_COMMAND=$1

PHPFPM_PORT=80

start_since(){

/usr/bin/curl -s "http://127.0.0.1:"$PHPFPM_PORT"/phpfpm_status" |awk '/^start since:/ {print $NF}'

}

accepted_conn(){

/usr/bin/curl -s "http://127.0.0.1:"$PHPFPM_PORT"/phpfpm_status" |awk '/^accepted conn:/ {print $NF}'

}

listen_queue(){

/usr/bin/curl -s "http://127.0.0.1:"$PHPFPM_PORT"/phpfpm_status" |awk '/^listen queue:/ {print $NF}'

}

max_listen_queue(){

/usr/bin/curl -s "http://127.0.0.1:"$PHPFPM_PORT"/phpfpm_status" |awk '/^max listen queue:/ {print $NF}'

}

listen_queue_len(){

/usr/bin/curl -s "http://127.0.0.1:"$PHPFPM_PORT"/phpfpm_status" |awk '/^listen queue len:/ {print $NF}'

}

idle_processes(){

/usr/bin/curl -s "http://127.0.0.1:"$PHPFPM_PORT"/phpfpm_status" |awk '/^idle processes:/ {print $NF}'

}

active_processes(){

/usr/bin/curl -s "http://127.0.0.1:"$PHPFPM_PORT"/phpfpm_status" |awk '/^active processes:/ {print $NF}'

}

total_processes(){

/usr/bin/curl -s "http://127.0.0.1:"$PHPFPM_PORT"/phpfpm_status" |awk '/^total processes:/ {print $NF}'

}

max_active_processes(){

/usr/bin/curl -s "http://127.0.0.1:"$PHPFPM_PORT"/phpfpm_status" |awk '/^max active processes:/ {print $NF}'

}

max_children_reached(){

/usr/bin/curl -s "http://127.0.0.1:"$PHPFPM_PORT"/phpfpm_status" |awk '/^max children reached:/ {print $NF}'

}

slow_requests(){

/usr/bin/curl -s "http://127.0.0.1:"$PHPFPM_PORT"/phpfpm_status" |awk '/^slow requests:/ {print $NF}'

}

case $PHPFPM_COMMAND in

start_since)

start_since;

;;

accepted_conn)

accepted_conn;

;;

listen_queue)

listen_queue;

;;

max_listen_queue)

max_listen_queue;

;;

listen_queue_len)

listen_queue_len;

;;

idle_processes)

idle_processes;

;;

active_processes)

active_processes;

;;

total_processes)

total_processes;

;;

max_active_processes)

max_active_processes;

;;

max_children_reached)

max_children_reached;

;;

slow_requests)

slow_requests;

;;

echo $"USAGE:$0 {start_since|accepted_conn|listen_queue|max_listen_queue|listen_queue_len|idle_processes|active_processes|total_processes|max_active_processes|max_children_reached}"

esac

给脚本添加执行权限

[root@linux-node1 scripts]# chmod +x phpfpm_status.sh

5.key的phpfpm_status.conf的子配置文件如下：

[root@linux-node1 ~]# cat /etc/zabbix/zabbix_agentd.d/phpfpm_status.conf

UserParameter=phpfpm_status[*],/bin/bash /etc/zabbix/scripts/phpfpm_status.sh "$1"

6.重启zabbix-agent

[root@linux-node1 ~]# systemctl restart zabbix-agent

7.测试一定使用Zabbix_get来获取值

[root@linux-node1 zabbix_agentd.d]# zabbix_get -s 192.168.90.11 -k phpfpm_status[accepted_conn]

7.展示所有Key(记得将模板关联主机)如图4-5

图4-5

8.查看图形，如图4-4(图形自定义)

图4-6

1.3.4MySQL监控

percona Monitoring Plugins是一个高质量的组件，为MySQL数据库添加企业级的监控和图表功能。其脚本使用PHP实现，故而Zabbix-Agent需要安装php环境。

1.配置所有Agent(标准化目录结构)

[root@linux-node1 ~]# vim /etc/zabbix/zabbix_agentd.conf #编辑配置文件引用key

Include=/etc/zabbix/zabbix_agentd.d/*.conf

[root@linux-node1 ~]# mkdir /etc/zabbix/scripts #存放Shell脚本

2.安装percona Monitoring Plugins percona工具集https://www.percona.com/software/documentation

[root@linux-node1 ~]# yum install -y http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm

[root@linux-node1 ~]# yum install percona-zabbix-templates -y

3.查看目录结构

[root@linux-node1 percona]# tree /var/lib/zabbix/percona

/var/lib/zabbix/percona

├── scripts#脚本文件路径

│ ├── get_mysql_stats_wrapper.sh

│ └── ss_get_mysql_stats.php

└── templates

├── userparameter_percona_mysql.conf#key文件位置

└── zabbix_agent_template_percona_mysql_server_ht_2.0.9-sver1.1.6.xml #模板文件位置

4.将key的的自配置文件复制至/etc/zabbix_agentd.conf.d目录下(以实际目录为准)

[root@linux-node1 ~]# cp /var/lib/zabbix/percona/templates/userparameter_percona_mysql.conf/etc/zabbix/zabbix_agentd.d/percona_mysql.conf

5.重启zabbix-agent

[root@linux-node1 ~]# systemctl restart zabbix-agent

6.修改脚本中的MySQL用户名和密码(可以单独建立一个用来做监控)

[root@linux-node1 scripts]# vim /var/lib/zabbix/percona/scripts/ss_get_mysql_stats.php

$mysql_user = 'root';

$mysql_pass = 'xuliangwei.com';

$mysql_port = 3306;

7. 测试一定使用Zabbix_get来获取值(否则会失败)，

[root@linux-node1 scripts]# zabbix_get -s 192.168.90.11 -k MySQL.pool-read-requests

223003813

8.如果获取不到值常见问题

1.看是否是MySQL密码错误

2.不要直接执行脚本来获取

3.删除/tmp/localhost-mysql_cacti_stats.txt文件(因为所有的值都会写入到这个文件)

4.权限问题导致

9.导入percona自带模板，如图4-7、图4-8、

[root@linux-node1 templates]# sz/var/lib/zabbix/percona/templates/zabbix_agent_template_percona_mysql_server_ht_2.0.9-sver1.1.6.xml #下载percona官网提供的模板

图4-7

图4-8

10.导入后将模板应用于主机，如图4-9

图4-9

1.3.5Tomcat监控

在Zabbix中，JMX监控数据的获取由专门的代理程序来实现,即Zabbix-Java-Gateway来负责数据的采集，Zabbix-Java-Gateway和JMX的Java程序之间通信获取数据

JMX在Zabbix中的运行流程：

a)Zabbix-Server找Zabbix-Java-Gateway获取Java数据

b)Zabbix-Java-Gateway找Java程序(zabbix-agent)获取数据

c)Java程序返回数据给Zabbix-Java-Gateway

d)Zabbix-Java-Gateway返回数据给Zabbix-Server

e)Zabbix-Server进行数据展示

配置JMX监控的步骤：

a)安装Zabbix-Java-Gateway。

b)配置zabbix_java_gateway.conf参数。

c)配置zabbix-server.conf参数。

d)Tomcat应用开启JMX协议。

e)ZabbixWeb配置JMX监控的Java应用。

1.配置所有Agent(标准化目录结构)

[root@linux-node1 ~]# vim /etc/zabbix/zabbix_agentd.conf #编辑配置文件引用key

Include=/etc/zabbix/zabbix_agentd.d/*.conf

[root@linux-node1 ~]# mkdir /etc/zabbix/scripts #存放Shell脚本

2.安装java以及zabbix-java-gateway (如果源码安装加上--enable-java参数)

[root@linux-node1 ~]# yum install zabbix-java-gateway java-1.8.0-openjdk -y

3.启动zabbix-java-gateway

[root@linux-node1 ~]# systemctl start zabbix-java-gateway

[root@linux-node1 ~]# netstat -lntup|grep 10052

tcp6 00 :::10052:::* LISTEN 13042/java

4.修改zabbix-server 配置文件

[root@linux-node1 ~]# vim /etc/zabbix/zabbix_server.conf

JavaGateway=192.168.90.11 # java gateway地址(如果和zabbix-server装一起可以写127.0.0.1)

JavaGatewayPort=10052 #java gateway端口,默认端口10052

StartJavaPollers=5 #启动进程轮询java gateway

5.重启zabbix-server

[root@linux-node1 ~]# systemctl restart zabbix-server

6.开启tomcat的远程jvm配置文件

[root@linux-node1 ~]# vim /usr/local/tomcat/bin/catalina.sh#找到自己本机tomcat路径(如果是salt来管,修改salt模板即可)

CATALINA_OPTS="$CATALINA_OPTS

-Dcom.sun.management.jmxremote

-Dcom.sun.management.jmxremote.port=12345

-Dcom.sun.management.jmxremote.authenticate=false

-Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=192.168.90.11"

7. 远程jvm配置文件解释

CATALINA_OPTS="$CATALINA_OPTS

-Dcom.sun.management.jmxremote # #启用远程监控JMX

-Dcom.sun.management.jmxremote.port=12345 #jmx远程端口,Zabbix添加时必须一致

-Dcom.sun.management.jmxremote.authenticate=false #不开启用户密码认证

-Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=192.168.90.11" #运行tomcat服务IP(不要填写错了)

5.重启tomcat服务

[root@linux-node1 ~]# /usr/local/tomcat/bin/shutdown.sh

[root@linux-node1 ~]# /usr/local/tomcat/bin/startup.sh

6.zabbix添加tomcat主机,并添加Zabbix自带java监控模板，如图4-10、图4-11、图4-12

图4-10

图4-11

图4-12

9.查看图形，如图4-13

图4-13

10.自带的监控可能无法满足企业需求,大家可以根据公司的业务定制不同的JVM监控模板。

1.3.6Redis监控

Redis使用自带的INFO命令，进行状态监控。以一种易于解释且易于阅读的格式，返回关于 Redis 服务器的各种信息和统计数值。

1.配置所有Agent(标准化目录结构)

[root@linux-node1 ~]# vim /etc/zabbix/zabbix_agentd.conf #编辑配置文件引用key

Include=/etc/zabbix/zabbix_agentd.d/*.conf

[root@linux-node1 ~]# mkdir /etc/zabbix/scripts #存放Shell脚本

2.编写Shell脚本

q 脚本端口、连接redis服务地址根据具体情况进行修改

q AUTH认证没有开启，将PASSWD修改为空即可。

[root@linux-node1 ~]# cd /etc/zabbix/scripts

[root@linux-node1 scripts]# vim redis_status.sh

#!/bin/bash

############################################################

# $Name: redis_status.sh

# $Version: v1.0

# $Function: Redis Status

# $Author: xuliangwei

# $organization: www.xuliangwei.com

# $Create Date: 2016-06-23

# $Description: Monitor Redis Service Status

############################################################

R_COMMAND="$1"

R_PORT="6379" #根据实际情况调整端口

R_SERVER="127.0.0.1" #根据具体情况调整IP地址

PASSWD="123" #如果没有设置Redis密码,为空即可

redis_status(){

(echo -en "AUTH $PASSWD\r\nINFO\r\n";sleep 1;) | /usr/bin/nc "$R_SERVER" "$R_PORT" > /tmp/redis_"$R_PORT".tmp

REDIS_STAT_VALUE=$(grep "$R_COMMAND:" /tmp/redis_"$R_PORT".tmp | cut -d ':' -f2)

echo "$REDIS_STAT_VALUE"

}

case $R_COMMAND in

used_cpu_user_children)