目录
一、监控介绍
1、监控目的
监控是需要站在公司的业务角度去考虑,而不是针对某个监控技术的使用。
对系统不间断时实监控
实际上是对系统不间断的时实监控
实时反馈系统当前状态
我们监控某个硬件、或者系统,都是需要能时实看到当前系统的状态,是正常、异常、或是故障。
保证服务可靠性安全性我们监控的目录就是要保证系统、服务、业务正常运行
保证业务持续稳定运行如果我们的监控做的很完善,即使出现故障,能第一时间接收到故障报报警,在第一时间处理解决,从而保证业务持续性的稳定运行。
2、监控方法
了解监控对象
了解CPU是如何工作的。
性能基准指标我们要监控这个东西的什么属性?比如如CPU的使用率、负载、用户态、内核态、上下文切换。
报警阈值定义怎么才算是故障,比如CPU的负载到底多少算高?内核态,用户态分别跑多少算高?
故障处理流程收到了故障报警,那么我们怎么处理?
3、监控核心
发现问题
当系统发生故障报警,我们会收到故障报警的信息。
定位问题故障邮件一般都会写某某主机故障、具体故障的内容,我们需要对报警内容进行分析,比如一台服务器连不上:我们就需要考虑是网络问题、还是负载太高导致长时间无法连接,又或者某开发触发了防火墙禁止的相关策略等等,我们就需要去分析故障具体原因。
解决问题当然我们了解到故障的原因后,就需要通过故障解决的优先级去解决该故障。
总结问题当我们解决完重大故障后,需要对故障原因以及防范进行总结归纳,避免以后重复出现。
二、zabbix概述
1、zabbix的主要特点
安装与配置简单,学习成本低
支持多语言(包括中文)
免费开源
自动发现服务器与网络设备
分布式监视以及WEB集中管理功能
可以无agent监视
用户安全认证和柔软的授权方式
通过WEB界面设置或查看监视结果
email等通知功能等等
2、Zabbix是什么
Zabbix是一个基于web界面的提供分布式系统监视以及网络监视功能的企业级开源解决方案。
Zabbix能监视各种网络参数,保证服务器系统的安全运营,并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。
Zabbix由两部分构成,Zabbix server与可选组件 Zabbix agent 。通过C/S模式采集数据,再通过B/S模式在web端展示和配置。
Zabbix server 可以通过SNMP,Zabbix agent,ping ,端口监视等方法提供对远程服务器够/网络状态的监视,数据收集等功能,它可以运行在linux平台上。
Zabbix agent 需要安装在被监视的目标服务器上,它主要完成对硬件信息或与操作系统有关的内存,CPU等信息的收集,以及中间件的信息。
3、zabbix监控对象
zabbix支持监控各种系统平台,包括linux和windows等主流操作系统,也可以借助SNMP或者SSH协议监控路由交换设备。
zabbix如果部署在服务器上,可以监控其CPU、内存、网络等硬件参数,也可以监控具体服务或者应用程序,服务运行情况及性能。
① 硬件监控(zabbix IPMI interface)
通过IPMI接口进行监控,我们可以通过标准的IPMI硬件接口,监控备监控的对象的物理特征,比如电压、温度、风扇状态、电源状态等。
② 系统监控(zabbix agent interface)通过专用的代理程序进行监控,与常见的master/agent模型类型,如果监控对象支持对应的agent,推荐选这种方式。
③ java监控(zabbix JMX interface)通过JMX进行监控,JMX(java management extensions,即java管理扩展),监控JMX虚拟机时,使用这种方法非常不错的选择。
④ 网络设备监控(Zabbix SNMP Interface )通过SNMP协议与被监控对象进行通信,SNMP协议的全称为simple network management protocol,被译为简单网络管理协议,通常来说,我们无法在路由器、交换机这种硬件上安装agent,但是这些硬件都支持SNMP协议。
⑤ 应用服务监控Zabbix Agent UserParameter⑥ MySQL数据库监控:percona-monitoring-plulgins
⑦ URL监控:Zabbix Web 监控
4、Zabbix架构
4.1 server-client架构
① 也就是zabbix的最简单的架构
② 监控机器和被监控机器之间不经过任何处理
③ 直接由zabbix-server和zabbix-agent之间进行数据交换。
④ 适用于网络比较简单,尽量在局域网内,设备比较少的监控环境。
4.2 server-proxy-client架构
① 其中proxy是server、client之间沟通的一个桥梁
② proxy本身没有前端,而且本身并不存放数据,只是将agentd发来的数据暂时存放,然后再交给server。
③ 该架构经常是和master-node-client架构做比较。一般适用于跨机房、跨网络的中型网络架构的监控。
4.3 master-node-client架构
① 该架构是zabbix最复杂的监控架构,使用于跨机房、跨网络设备较多的大型环境。每一个node都会同步server端。相当于也是一个server端
② node下面可以接proxy,也可以直接接clinet。
③ node有自己的配置文件和数据库,其要做的是将配置信息和监控数据向master同步,master的故障或损不会对影响node节点的正常工作,但是会影响zabbix-server整体的完整性。
4.4 zabbix支持的监控内容
① 硬件
电源状态、cpu温度、机器温度、风扇。
物理磁盘、raid、内存状态、网卡状态等。
② 软件
HTTP接口、RPC接口的请求量、耗时、异常量等。JVM上的线程数、死线程数、活跃线程数、GC耗时等。
(GC是垃圾收集的意思,内存处理是编程人员容易出现问题的地方,忘记或者错误的内存回收会导致程序或系统的不稳定甚至崩溃,Java提供的GC功能可以自动监测对象是否超过作用域从而达到自动回收内存的目的。)
线程池、连接池的连接数、线程数、拒绝任务、任务耗时等。日志和业务指标,包括错误日志、访问日志、订单量、PV流量等。
③ 数据
数据库连接、QPS、TPS
并行会话数、缓存数、锁状态等
Nginx的活跃、丢弃、等待连接数、错误等
Tomcat上的线程数、请求量、耗时、内存消耗等
缓存、内存消耗、内存碎片、消息队列等数据
5、zabbix常用术语
主机(host)
要监控的设备,可以有ip或是主机名(必须可解析)指定。
主机组(host group)主机的逻辑容器,包含主机和模板,主机通常在给用户或是用户组指派监控权限时使用。
监控项(item)一个特定指定的相关数据,比如内存的大小,CPU的使用率,甚至是服务的运行状态等,监控项数据来源于被监控对象,并且每一个监控项都由一个key值来标识。
触发器(trigger)一个表达式,用于评估监控的值是否在合理的范围,当接收的值超出触发器的规定时,就被认为是故障,如果超出后再次符合,就被认为是正常。
事件(event)触发器触发的一个特定时间,或者zabbix定义的一个自定上限注册主机的事件,。
动作(action)指根据配置,zabbix对于触发器触发的特定时间进行处理的具体措施,如执行某个脚本,或是向管理员邮箱发送邮件等等
报警升级(escalation)发送警报或是执行远程命令的自定义方案。
媒介(media)发送通知(告警)的手段,比如:电话,微信,邮件,短信,企业微信,钉钉,等等
通知(notification)通过指定媒介,向用户发送的有关事件的信息
远程命令指运维人员提前写好的命令,可以让被监控主机在触发事件后执行。
模板(template)用于快速被监控主机的预设条目结合,通常包括了监控项、触发器、应用等,模板可以直接连接到某个主机
应用(application)一组监控的集合
web场景(web scennario)用于检测web站点可用性的一个或多个HTTP请求
前端(frontend)zabbix的web接口
6、Zabbix的工作原理
Zabbix agent 安装在被监控的主机上,zabbix agent负责定期收集客户端本地各项数据,并发至 Zabbix server端,zabbix server收到数据后,将数据存储到数据库中。
用户基于Zabbix Web可以看到数据在前端展现图像。
当Zabbix监控监控某个具体项目,该项目会设置一个触发器阈值,当被监控的指标超过触发器设定的阈值,会进行一些必要的动作,动作包括: 发送信息(邮件、微信、短信、电话,钉钉)、发送命令(shell命令、rebbot、restart、install等)
当告警后,根据告警机制可以先自动处理(比如使用shell脚本启动nginx服务等),自动处理不了的,就会通知对应的运维人员进行处理。
原理总结
zbbix_server 服务端可以通过主动或被动的方式获取到zabbix_agent客户端的数据,zabbix_server拿到数据后进行分析,存放到自己的数据库中,zabbix再将数据给到web_server,然后用户通过client访问web_server的UI界面访问
7、Zabbix监控部署的常见5个程序
Zabbix监控部署在系统中,包含常见五个程序:zabbix_server、zabbix_agent、zabbix_proxy、zabbix_get、zabbix_sender等
① zabbix_server
zabbix服务端守护进程,其中zabbix_agent、zabbix_get、zabbix_sender、azbbix_proxy的数据最终都交给zabbix_server。
② zabbix_agent客户端守护进程,负责收集客户端数据,例如: 收集CPU负载、内存、硬盘、中间件使用情况
③ zabbix_proxyzabbix分布式代理守护进程,通常大于500台主机,需要进行分布式监控架构部署。
④ zabbix_get数据接收工具,单独使用命令,通常在server或proxy端执行获取远程客户端信息的命令。
⑤ zabbix_sebderzabbix数据发送工具,用户发送数据给server或proxy端,通常用户耗时比较长的检查
三、Zabbix安装
Zabbix-server 硬件内存至少2G,推荐4G
1、Zabbix服务端部署软件
1.1、获取zabbix下载源
1.2 把zabbix源换成aliyun源
cd /etc/yum.repos.d
sed -i 's#http://repo.zabbix.com#https://mirrors.aliyun.com/zabbix#' zabbix.repo
yum clean all && yum makecache
1.3 安装zabbix服务端响应软件
yum install -y zabbix-server-mysql zabbix-agent
1.4 安装SCL
安装SCL(software Collections),便于后续安装高版本的php,默认yum安装php版本为5.4,版本过低,因为zabbix 5.0版本对php版本最低要求7.2.0版本。SCL可以使得在同一台及其上使用多个版本的软件,而又不会影响整个系统的依赖环境,软件包会安装在/opt/rh目录下。
yum install -y centos-release-scl
#安装SCLvim /etc/yum.repos.d/zabbix.repo
[zabbix-frontend]
......
enabled=1 #开启安装源
......yum install -y zabbix-web-mysql-scl zabbix-apache-conf-scl
#将前端环境安装达到SCL下 安装mysql和httpd
1.5 安装部署zabbix所需要的数据库
1.5.1 安装zabbix数据库和初始化以及授权
yum install -y mariadb-server mariadb
systemctl enable --now mariadb
#安装mariadb数据库并启动 开机自启
mysql_secure_installation
#初始化数据库(后=后面全部输入y),并设置密码,如:123456
mysql -u root -p123456
#登录数据库
create database zabbix character set utf8 collate utf8_bin;
#创建zabbix库,使用utf8字符集编码
grant all on zabbix.* to 'zabbix'@'%' identified by 'zabbix';
#授权权限,zabbix用户可以使用密码zabbix从任意主机登录,且拥有zabbix库的所有权限
flush privileges;
#刷新授权表