2024年学习编程的第十九天_splunk和zabbix(1)，2024年最新想找工作的你还不看这份资料就晚了

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2.1 SNMP协议
2.1.1 什么是SNMP
SNMP:“简单网络管理协定”，使用连接管理的协定。SNMP使用网络设备的网路管理工作。SNMP的基本工作方法:设备管理者要求从设备中获取数据，所以SNMP提出了"读"功能；管理者要求向设备进行设置动作，所以SNMP提出了"写"功能；设备必须在重大情况发生变化的时候，向管理者通知重大事件的产生，所以SNMP提出了"Trap"功能。
2.1.2 SNMP背景
SNMP的设计理念:将不同类型的网络设备、不同制造商产品的网络设备、以及不同类型的外设，定义为一个统一的界面与协议，让网络设备管理者们能够是通过统一的外观对每个被负责管理的网路设施，进行集中式管理工作。利用网络，管理者们能够负责管理处于各个物理空间中的设施，从而极大地提高了管理者的效率，并改善了网络管理员的管理工作。
2.1.3 SNMP结构概述
SNMP技术是英文"Simple Network Management Protocol"的简写，中文含义是"简易网络系统控制协定"。SNMP是一个简易网络系统控制协议书，是处于TCP/IP五层协定中的应用层技术，作为连接网络控制的技术。SNMP一般是进行计算机网络技术的控制。因为SNMP技术方便安全，因此获得了许多企业的青睐，并形成了目前最常用的网络管理员技术。一般包括以下:使用层的技术、数据库系统的模块、以及资源对象。通常SNMP被设置为运行于TCP/IP协议族上。而SNMP则按照TCP/IP协定运行，对网络系统中支持SNMP技术的电气设备进行控制。如下图

图21 SNMP流程
2.1.4 工作原理
连接系统包含了对硬件、软体与人力资源的应用、综合和调整。SNMP中的管理工作程式与代理商程式都是依照用户服务器的方式进行管理工作。在网络管理应用领域，管理对象与被管对象之间必须分别运行二套应用软件来实现该任务—管理工作程式与代理商程式。在管理员计算机上运行的管理流程，通常当作服务器端，而在被管对象上运行的代理商程式，通常是服务器。而在被管对象上运营的服务器进程则不断监听来源于负责管理站的SNMP用户程序的申请(名称通常是get或是set命令)，一旦申请正确生效，那么管理进程则立刻回复负责管理站所需的消息，或是完成某些动态(设置参数等)，就如此实现了双边的消息交流。
2.2 IPMI协议
2.2.1 IPMI协议介绍
IPMI (Intelligent Platform Management Interface)是一个智能平台管理界面。客户还可利用IPMI监控服务器等电子设备的基本物理性质特点，如系统各部分的环境温度、电流、风扇工作状况、电源供应情况和机箱入侵状况等。可以利用BMC和主机上的感应器的联系，来监视系统中是否出现异常并进行告警，也具有利用带外的方式去管理设备和控制不使用操作系统，从而降低了对操作系统资源上的浪费。
2.2.2 IPMI协议原理
IPMI的定义一般来说就是安置在专门晶片/控制器，但有时候是指通常在系统主板或刀片上的服务处理器或BMC(基板管理控制器)—的专用固件。这样，就产生了一种完全单独在控制系统中运行的无代理控制子系统—自己的CPU、BIOS，以及控制系统中的类型或文件。这种"自主"特点大大减少了对任何由控制系统而定的管理代理(基于代理)所面临的约束，同时BMC也增加了对IPMI协定的负责管理功能，可以通过利用这个协定去管理服务器信息。
2.2.3 BMC
BMC是基板管理控制台，嵌入服务器中的服务器硬件，平台管理表示的是一系列的监测与管理控制功能，操作的目标是系统管理服务器硬件。例如透过监测控制系统的环境温度，压力，风机、供电等，并做出适当的调整工作，以保障体系达到健康的状况。当然要是操作系统真的不正常工作了，就应该采用复位的方法来重新启动操作系统。同时，平台管理系统还完成记下所有硬件的情况和日志记录，并进行提醒应用和对后续问题的定位。而上面的所有各种功能都应该整合在同一个控制台上完成，所以这种控制台也被叫做基板管理控制台。
Zabbix是一种可以通过对WEB页面进行分布式系统监测的中小企业级开源方案。目前文山中学正在使用新的技术系统，以构建符合于服务器设备运维工作的自动化平台。Zabbix是一种分布式的监测管理系统。在主机自动化，运维平台采用的Server-Proxv-Client结构，微服务结构下，可以面向大量主机的实时监控要求，若符合标准、简便、快捷的主机自动监控部署过程，则可以大大简化运维人员的部署、配置工作，而且性能和速度都相当快，由于网络资源利用率非常低数据能够永久保存，因此非常适合于主机的实时监控，Zabbix也是一种高度整合的网络监控方案，在一套简洁的安装包中实现了丰富多彩的功用。
Zabbix具有功能和特性：
(1)数据收集:使用和性能检测支持SNMP(包含主动轮训和被动获取)，IPMI，JMX，VMware监控；
(2)触发器与报警系统:指能够界定极其活动的告警控制系统以及与各种告警有关的基本条件，通过断行:如邮件等多钟方法同时发出报警信息的系统；
(3)监视和显示:Zabbix可以跟踪模拟键盘在Web网页上的敲击动作，来检查网页的控制功能和应答时机，大量的可视化选择，并支持创建自定义的图表，每一个试图集中显示多个监控项目。
(4)历史数据保存:将历史数据实时保存在数据库系统中，将存储周期分配在历史数据柯配置，定时的清除历史数据，并保持对历史数据的二次分析。
(5)系统功能:针对不同客户的身份进行验证来提供不同的数据信息。
2.3 Zabbix介绍
2.3.1 Zabbix基本框架
Zabbix是一种可以通过对WEB页面进行分布式系统监测的中小企业级开源方案。目前文山中学正在使用新的技术系统，以构建符合于服务器设备运维工作的自动化平台。Zabbix是一种分布式的监测管理系统。在主机自动化，运维平台采用的Server-Proxv-Client结构，微服务结构下，可以面向大量主机的实时监控要求，若符合标准、简便、快捷的主机自动监控部署过程，则可以大大简化运维人员的部署、配置工作，而且性能和速度都相当快，由于网络资源利用率非常低数据能够永久保存，因此非常适合于主机的实时监控，Zabbix也是一种高度整合的网络监控方案，在一套简洁的安装包中实现了丰富多彩的功用。
Zabbix具有功能和特性：
(1)数据收集:使用和性能检测支持SNMP(包含主动轮训和被动获取)，IPMI，JMX，VMware监控；
(2)触发器与报警系统:指能够界定极其活动的告警控制系统以及与各种告警有关的基本条件，通过断行:如邮件等多钟方法同时发出报警信息的系统；
(3)监视和显示:Zabbix可以跟踪模拟键盘在Web网页上的敲击动作，来检查网页的控制功能和应答时机，大量的可视化选择，并支持创建自定义的图表，每一个试图集中显示多个监控项目。
(4)历史数据保存:将历史数据实时保存在数据库系统中，将存储周期分配在历史数据柯配置，定时的清除历史数据，并保持对历史数据的二次分析。
(5)系统功能:针对不同客户的身份进行验证来提供不同的数据信息。
Zabbix的监控结构是一般结构为CS(Client/Server)结构，数据可以直接发送到Server，分布式结构为CPS(Client/Proxy/Server)结构，Zabbix结构为Zabbix Server，Database Storage，Web Interface，Proxy，Agent。Zabbix Server: 负责收到由Agent发出的报告消息，组织的运行、管理及其控制。Database Storage:存储配置消息和接收到的消息。Web Interface:Zabbix的GUI界面，一般和Server系统工作在同一台计算机上。Proxy:可选择模块，通常使用在分布式的监视环境中。Agent:直接安装在被监视计算机上，主要收集的结果发给Server系统。

2.3.2 Zabbix运行流程

图 22 Zabbix的运行流程

图23 Zabbix 的服务流程
2.3.3 Zabbix工作原理
Zabbix是对服务器进行特性检测、计算机网络设备性能检测、数据库特性检测、各种报警方法、以及详尽的报告图表绘制；将Agentd放置在被检测的数据库上，由Agent负责定时获取服务器端本地所有数据分析资料，并送到Zabbix Server服务器端，由Zabbix Server获得数据分析资料后， 将所有数据保存在数据库中，用户通过Zabbix WEB能够查看的数据分析资料，在前台显示报告图形。当Zabbix监视某一具体的工程项目时，改项目会先设立某种触发器阈值点，当被监视的工程项目指标达到了该引发器所设有的阈值点时，会做出某些必须的动态，动态通常包含:收发消息(电子邮件、微信、短信)、发出指令(SHELL指令、Reboot、Restart、Install等)。
2.3.4 Grafana介绍
Grafana是一个用Go语言开发的开源数据分析可视化开发工具，能做数据分析监控和大数据统计分析，并具有报警功用。目前采用grafana的大企业还有不少，如paypal、ebay、intel等。
可视化:对于高速和灵活的客户端图像，有很多选择。面板插件可以为多种不同的工作方式可视化指标和日志。
报警:可以可视化地为最关键的指标，定义了预警规则。Grafana将继续评估它们，并发出通知。
提示:当警报改变情况后，它将发出通知。接受电子邮件通知。
动态汽车仪表盘:通过模板变量产生动态和可重用的汽车仪表板，这些模板变量作为下拉菜单出现在汽车仪表板上面。
混杂资料来源法:在同一张图中，混杂了不同的数据和资料源!可根据每个结果确定资料数据源。这技术甚至应用于自定义数据源。
附注:注释来自不同数据源图表。把鼠标悬停在事件上就可以表示完整的事件元信息，或者标记。
过滤:过滤功能可让您动态地创建新的键/值过滤，而这种过滤将自动运用于已采用了该统计源的任何结果。
2.3.5 Grafana特点
可视化:对于高速和灵活的客户端图像，有很多选择。面板插件可以为多种不同的工作方式可视化指标和日志。
报警:可以可视化地为最关键的指标，定义了预警规则。Grafana将继续评估它们，并发出通知。
提示:当警报改变情况后，它将发出通知。接受电子邮件通知。
动态汽车仪表盘:通过模板变量产生动态和可重用的汽车仪表板，这些模板变量作为下拉菜单出现在汽车仪表板上面。
混杂资料来源法:在同一张图中，混杂了不同的数据和资料源!可根据每个结果确定资料数据源。这技术甚至应用于自定义数据源。
附注:注释来自不同数据源图表。把鼠标悬停在事件上就可以表示完整的事件元信息，或者标记。
过滤:过滤功能可让您动态地创建新的键/值过滤，而这种过滤将自动运用于已采用了该统计源的任何结果。
2.4分布式存储
2.4.1分布式存储概述
分布式存储系统是把各种数据分散的保存在单一的计算机上。一般的网络存储管理系统通过集中式的数据库服务器放置各种财务数据，内存服务器也是其可靠性的问题，也是稳定性与安全的难点，无法适应大量数据应用的需求。散布式网络存储系统使用可扩充的结构，使用多种数据库服务器设备分摊仓储负担，并使用地址服务器定位仓储数据信息，它不但增强了信息系统的可靠性、可用性和储藏效能，还便于推广。分布式存储器的主要特点有如下几方面。
一致性:由于分布式的存储系统往往需要通过多台网络服务器设备共同保存数据信息，而且由于网络服务器设备总量的增加，网络服务器设备发生故障的概率也在日益增大。要确保在有网络服务器设备出现故障的情形下，操作系统仍然运行。通常方法是将同一份资料数据分为多种存放到不同类型的网络服务器设备中。但因为故障或者并行存储等特殊情形的出现，在同一个数据信息的几个数据副本中间也可以出现总量不完全一致的情形。在此处称保证几个副本的数量一致的性质为一致性。
使用可靠性:分布式数据库网络要求多个服务器设备共同工作。当服务器设备数量增多时，当中的部分服务器设备故障是在所难免的。我们认为，这样的情况并没有对整个网络系统产生太大的负面影响。当网络系统中的一些环节发生故障之后，整个网络系统的整体并不影响客服端的读/写请求的有效性。
分区容错性:分布式存储操作系统中的多个服务器利用网络实现互连。但是我们还没法确定互联网是否是永远畅通的，因为分布式系统必须拥有足够的容错性，来解决网络故障所造成的问题。一种更理想的情形是，当一个网络系统由于出现故障而划分为几个部分的时候，分布式存储机制依然可以工作。
2.4.2 分布式存储的原理
分布式存储是把企业数据分散存放在各个存储服务器上，并把这些分散的存储资源组成了一种虚拟的存储器，而实际上数据分散的存放在企业的不同位置。分布式储存简单的来讲，就是把数据分散存放在企业各个储存服务器上，并把这些分散的存储资源组成了一种虚拟的存储器，而实际上将数据分散的存放在了企业的不同角落。
2.4.3 分布式存储的作用
分布式存储能够把信息存放在较远距离的云服务器端，或者转移至距离信息更近的周边存储设备或边缘数据中心以就近存放，从而拥有更少的通信费用、互联网时间与宽带降低成本，更强的自适应和扩展。这样的存储方式也更加适合当下以及未来的数据存储结构。
随着时代发展，公司的业务增多服务器的数量也在大幅度的增加，这时分布式存储也在慢慢体现它的优点所在之处系统扩容就越加的显得简单，通过集群的方式更加的满足业务的需求，而且存储的数据也更加的清晰，去展现更有利的信息来源，防止公司的信息数据丢失。
2.5 本章总结

本文首先对zabbix系统所需的关键技术作出了阐述。接着依次对二个主要协定SNMP、IPMI协议作出了说明，并对协定的基本原理与应用模式作出了抽象式化阐述。随后详细阐述了Zabbix的基本技术结构与特性，并对其功能特点给出了简要说明，并把Zabbix中协议过程作出了详细的剖析，对消息的处理方式给出了简要解析。接着阐述了Grafana的基本使用方法，最后分布式存储的基本概况，对分布式存储的功能特点作出了说明，并把分布式存储的基本原理模式作出了展示。第三章Zabbix+Grafana监控系统分析与设计
本章通过结合企业云服务器生活环境，对基于Zabbix+grafana云监控系统的需求从功能需求和性能需求两个方面进行张开深入探讨和分析，从而对所需设计的云监控系统在功能以及性能上有较为清晰的认识。然后对云监控系统的整体构架、模块和设计。在本文中将分别在引入Zabbix+Grafana分布式构架、梯度告警模块、Splunk日志分析模块、数据库优化以及两种方式的进行详细设计。最后实现基于Zabbix+Grafana的云监控系统的分析与设计。

3 系统概要设计
3.1功能需求
3.1.1 Zabbix+Grafana监控系统功能需求
企业所需要的监测管理系统，具有基本的虚拟机或者网络服务监测的平台、web端的监测展示、数据分析的储存功能等基本以外，还应当具有:日志记录数据分析、异常管理、统计库容灾备份等的主要功能，在下面小节对本监测管理系统所考虑到的主要功能要求予以详尽的解析。
3.1.2基本功能需求
企业利用监控系统塔建服务器来获取监控端的信息，从而使形象化的展现到在人们的面前，提供给运维人员来检查CPU利用率、服务器使用情况、系统负载等一系列清晰可见的图像仿照在Grafana系统上信息集群的趋势，监控系统的基本功能如下：
（1）导出监控指标特定时间端的详细数据与趋势数据到Grafana，导出特定时间段内Zabbix的告警信息到xlsx上。
（2）对特定时间段研内信息进行分析，告警服务器的CPU负载、硬盘运行、存储器运行、网路状态、终端监测、日志监测等各种技术指标提供即时监测运行情况等，按照主机组导出巡检报告。
（3）对某个时间段研内信息进行分析，通过告警服务器的CPU负荷、硬盘使用、存储器使用、网络状态、端口监视、日志监控等多种指标进行实时监视使用状况等，按照主机组导出巡检报告。
（4）Zabbix对网络集群中运营着各种上网业务提供查询，上网质量的优劣影响到使用者的体验效果。所以需对网络集群中的网络服务(如:SMTP、HTTP等)实施监测，从而了解不同上网服务状态。

图31 Zabbix报告系统构架图

图3-2 Zabbix+Grafana云监控系统功能模块
3.2 系统结构
监控系统的总体结构如下图显示，Zabbix+Grafana服务器均处于企业的内网，Zabbix的集群搭建和各种功能管理、监控系统的流程等，并深入分析了其中的工作原理。针对于如何优化监控系统，让它能够在分布式监测系统和后期扩展过程中，依然能够取得更好的成绩，增加了自己的创新设计，以获取一些原来无法发收集到的新数据，同时考虑到服务器存储将因为服务器数量的增多，而产生相应的负荷压力。
根据上述性能分析结论，从以下三个角度来剖析控制系统的安全可靠。
（1）稳定性监控系统保障监控服务器稳定性监控系统即时反应了各项系统的运载状况，并且能够及时对信号的采集过程进行管理，如果发生了异常立刻相应的动作，并且可以及时的采用短信、Email、Granfana系统界面等各种方法进行提示报警，传输在整个系统流程上至关重要。
（2）延展性 随着监控系统更新换代升级，业务量就越来越大，所实现的功能也就越来越多，监控系统要进行扩充是非常重要的，数据储存对后期的数据分析或者预报也有重要的作用，增加信息系统的承载力所要具备的。
（3）完整性 具有完整的监控系统，在监测流程中发生数据拥堵时仍能做出反应并保存完好的数据信息。完整性能够充分储存大量数据，来衡量一个系统是否具有关键性的指标。数据由分布式网络存储系统通过与Zabbix-Server通讯，把大规模的抓取的服务器消息保存留下来，这样的话既保证了数据库的稳定性，也为后期的分析创造了基本必要条件。
3.2.1 Grafana信息功能展示
信息展示功能主要是对收集到的信息内容加以图像化，包含收集到的历史信息内容，能够方便快捷的查询各个服务器设备的状况和特性。除了历史消息图型化的功能之外还有预警消息展示和服务器异常消息扫描技术。预警消息展示是当网络服务器状态出现异常时，系统会把特殊消息展现在Grafana上。Zabbix实现的分布式监测技术，把被监测设备的所有指标用PHP语句描述后，在Grafana网站上直接展示在管理人员眼前，它克服了现在大部分的大批量系统监测困难、识别问题困难的情况。
3.3本章小结
本章介绍了当前所需的Zabbix+Grafana系统的功能，随后介绍了各个模块下的功能和所需要的框架，Zabbix系统将数据传输到Grafana界面上，从而显示高级的清晰图像，并对系统程序进行本质上的提升；介绍系统的报警功能和服务器异常功能扫描，从而使系统更加的完善。

4系统实现与应用

4.1 Zabbix安装与使用
4.1.1 Zabbix的安装
（1）安装mysql
Zabbix存储数据所需要坏境

图41 配置环境
完成之后配置在/etc/my.cnf.d/目录下创建 mysql.cnf 文件，编辑内容如下

图42 编制mysql.cnf
（2）安装Zabbix
配置zabbix的yum源，安装zabbix-server、mysql、zabbix-agent

图43 配置server
（2）配置Zabbix的页面初始化配置

图44 配置zabbix界面
对zabbix进行配置

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

sdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！