Linux云计算 |【第二阶段】SECURITY-DAY3

主要内容:

Prometheus监控服务器、Prometheus被监控端、Grafana监控可视化

补充:Zabbix监控软件不自带LNMP和DB数据库,需要自行手动安装配置;Prometheus监控软件自带WEB页面和DB数据库;Prometheus数据库为时序数据库,Zabbix数据库为关系型数据库;

一、Prometheus概述

Prometheus 是一个开源的系统监控和警报工具包,最初由 SoundCloud 开发,并于2012年首次发布。Prometheus 在2016年加入云原生计算基金会(CNCF),成为继 Kubernetes 之后的第二个托管项目。Prometheus 以其强大的数据模型、灵活的查询语言和高效的存储机制而闻名,已成为云原生和容器化环境中的监控标准之一。

主要功能:

数据模型

  • Prometheus 采用时间序列数据模型,存储多维度的度量指标。
  • 每个时间序列由指标名称和一组键值对(标签)唯一标识。

查询语言

  • Prometheus 提供了一种名为 PromQL(Prometheus Query Language)的强大查询语言,用于实时查询和分析时间序列数据。
  • PromQL 支持复杂的查询、聚合和数据转换操作。

数据收集

  • Prometheus 通过拉取(pull)模型从目标系统收集数据,目标系统通常通过 HTTP 接口暴露度量指标。
  • 支持通过中间代理(如 Pushgateway)处理推送(push)模型。

告警管理

  • Prometheus 提供了一个独立的告警管理组件,称为 Alertmanager,用于处理、去重、分组和路由告警。
  • Alertmanager 支持多种通知方式,包括电子邮件、Slack、PagerDuty 等。

可视化

  • Prometheus 自带一个简单的图形界面,用于基本的数据查看和查询。
  • 通常与 Grafana 集成,提供更强大的可视化和仪表板功能。

存储

  • Prometheus 将数据存储在本地磁盘上,采用自定义的存储引擎,高效地处理大量时间序列数据。
  • 支持通过远程存储接口与外部存储系统集成。

Prometheus架构图:

Prometheus 的架构主要包括以下组件:

  • Prometheus Server:核心组件,负责数据收集、存储和查询。
  • Exporters:用于暴露现有应用程序或系统的度量指标,如 Node Exporter、MySQL Exporter 等。
  • Pushgateway:用于处理短期任务或批处理作业的度量指标推送。
  • Alertmanager:处理告警,支持去重、分组和通知路由。
  • Web UI / Grafana:用于数据可视化和仪表板展示。

优势:

  • 开源:免费使用,社区支持活跃。
  • 强大的数据模型和查询语言:支持多维度数据模型和灵活的 PromQL 查询语言。
  • 高效的存储机制:自定义的存储引擎,适合处理高吞吐量的时间序列数据。
  • 灵活的告警管理:独立的 Alertmanager 组件,支持复杂的告警规则和通知机制。
  • 云原生支持:原生支持 Kubernetes 和其他云原生技术,适合容器化环境。

应用场景:

Prometheus 适用于各种监控场景,特别是云原生和容器化环境,包括:

  • 容器和微服务监控
  • 基础设施监控(如服务器、网络设备)
  • 应用程序性能监控
  • 持续集成和持续交付(CI/CD)管道监控
  • 云环境和虚拟化监控


案例1:Prometheus监控服务器

案例要求:部署prometheus监控服务器,完成以下任务:

  • 1)安装监控服务器
  • 2)修改配置文件
  • 3)编写service文件,管理服务
  • 4)查看监控数据

主机分配表(主机系统均为CentOS7,提前配置IP、主机名、系统YUM源)

实验拓扑图:

步骤1:设置防火墙和SELinux限制

[root@prometheus ~]#firewall-cmd --set-default-zone=trusted
[root@prometheus ~]#setenforce 0
[root@prometheus ~]#sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config

步骤2:部署服务端监控软件(prometheus操作)

1)安装prometheus软件(可参考/linux-soft/2/prometheus_soft.tar.gz)

[root@prometheus ~]# tar -xf prometheus_soft.tar.gz
[root@prometheus ~]# cd prometheus_soft/
[root@prometheus prometheus_soft]# ls
1-cpu_rev2.json
1-node-exporter-for-prometheus-dashboard-update-1102_rev11.json
alertmanager-0.20.0.linux-386.tar.gz
grafana-6.7.3-1.x86_64.rpm
mysqld_exporter-0.12.1.linux-amd64.tar.gz
mysql-overview_rev5.json
mysql_rev1.json
node_exporter-1.0.0-rc.0.linux-amd64.tar.gz
prometheus-2.17.2.linux-386.tar.gz
pushgateway-1.2.0.linux-amd64.tar.gz

[root@prometheus prometheus_soft]# tar -xf prometheus-2.17.2.linux-386.tar.gz    //解压软件压缩包
[root@prometheus prometheus_soft]# ls prometheus-2.17.2.linux-386/
console_libraries  LICENSE  prometheus      promtool
consoles           NOTICE   prometheus.yml  tsdb
[root@prometheus prometheus_soft]# mv prometheus-2.17.2.linux-386 /usr/local/prometheus     //移动到/usr/local/prometheus(类似tomcat)
[root@prometheus prometheus_soft]# ls /usr/local/prometheus/

Prometheus软件解压即可直接执行;

2)修改prometheus配置文件(添加Target监控对象)

  • 配置文件:prometheus.yml    //文件为YAML格式
  • 格式:/usr/local/prometheus/promtool check config 配置文件   //检查语法错误
[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml
...
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['192.168.4.10:9090']   //配置抓取目标,被监控端主机和端口

解释:targets监控对象,指定需被监控的主机IP:端口号(192.168.4.10:9090监控本机,端口9090)

检查配置配置文件是否有语法错误

[root@prometheus ~]# /usr/local/prometheus/promtool check config \
> /usr/local/prometheus/prometheus.yml
Checking /usr/local/prometheus/prometheus.yml
  SUCCESS: 0 rule files found     //语法没有错误(仅供参考)

3)编写服务service文件,使用systemd管理服务(端口9090)

[root@prometheus ~]# vim /usr/lib/systemd/system/prometheus.service
[Unit]
Description=Prometheus Monitoring System
Documentation=Prometheus Monitoring System
[Service]
ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml   
[Install]
WantedBy=multi-user.target
[root@prometheus ~]# systemctl enable prometheus.service --now  //设置服务开机自启并立刻启动
[root@prometheus ~]# ss -nlptu | grep :9090
tcp    LISTEN     0      128      :::9090                 :::*                   users:(("prometheus",pid=764,fd=6))

补充:--config指定配置文件位置,在启动服务时可找到该文件

步骤3:登录Prometheus监控控制台

1)查看监控主机、监控数据

使用浏览器访问http://192.168.4.10:9090,可看到监控控制台首页;

查看监控主机,点击【Status】-->【Targets】,可查看监控到的对象主机;

点击http://192.168.4.10:9090/metrics,可查看到该主机的监控数据(可视化效果不佳)

通过【Graph】,选择监控数据,如go_memstats_alloc_bytes,点击<Execute>执行,可查看具体某个监控数据和Value;

点击<Graph>,可查看选择的监控数据对应的监控图形


 常见错误:No datapoints found.

思路分析:

  • 1)防火墙与SELinux是否限制;
  • 2)配置文件中的targets是否没有数据;
  • 3)检查Prometheus.service服务是否启动(端口9090)
  • 4)没有数据库的目录,在Service文件里添加--storage.tsdb.path=/usr/local/prometheus/data/
  • 5)Prometheus时间与创建历史时间不对

解决办法:

Servies服务可手动启动服务:/usr/local/prometheus/prometheus \

--config.file=/usr/local/prometheus/prometheus.yml

 二、被监控端

1)监控方式

Prometheus客户端分为pull和push两种提交数据的方式:

  • ① Pull:监控服务端主动向被监控端拉取数据,这样需要在被监控端上安装exporters(导出器)作为守护进程;
  • ② Push:被监控端需安装pushgateway插件,然后由运维人员通过脚本将监控数据组织成键值形式提交给pushgateway,再由该插件提交给监控服务端;

2)Exporter导出器

按照监控要求实现什么类型的监控,则需要单独安装exporter(导出器),可参考官网开源的exporter,解压即可直接运行。

补充:广义上讲所有可以向Prometheus提供监控样本数据的程序都可以被称为一个Exporter,而Exporter的一个实例称为target;


案例2:Prometheus被监控端

案例要求:配置Prometheus被监控端主机,主要完成以下任务:

  • 1)安装被监控端软件(exporter监控导出器)
  • 2)编写service文件,使用systemd管理服务
  • 3)修改监控服务器配置文件
  • 4)查看监控数据

步骤1:设置防火墙与SELinux限制

[root@node1 ~]#firewall-cmd --set-default-zone=trusted
[root@node1 ~]#setenforce 0
[root@node1 ~]#sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config

步骤2:部署被控制端软件(node1操作)

1)安装node_export导出器(可参考/linux-soft/2/prometheus_soft.tar.gz)

[root@node1 ~]# tar -xf prometheus_soft.tar.gz
[root@node1 ~]# cd prometheus_soft/
[root@node1 prometheus_soft]# ls
mysqld_exporter-0.12.1.linux-amd64.tar.gz
node_exporter-1.0.0-rc.0.linux-amd64.tar.gz
...
[root@node1 prometheus_soft]# tar -xf node_exporter-1.0.0-rc.0.linux-amd64.tar.gz
[root@node1 prometheus_soft]# ls node_exporter-1.0.0-rc.0.linux-amd64
LICENSE  node_exporter  NOTICE
[root@node1 prometheus_soft]# mv node_exporter-1.0.0-rc.0.linux-amd64 /usr/local/node_exporter
[root@node1 prometheus_soft]# ls /usr/local/node_exporter

2)编写服务service文件,使用systemd管理服务(端口9100)

[root@node1 ~]# vim /usr/lib/systemd/system/node_exporter.service
[Unit]
Description=node_exporter
After=network.target
[Service]
Type=simple
ExecStart=/usr/local/node_exporter/node_exporter
[Install]
WantedBy=multi-user.target
[root@node1 ~]# systemctl enable node_exporter --now   //设置服务开机自启并立刻启动
[root@node1 ~]# ss -nlptu | grep :9100
tcp    LISTEN     0      128      :::9100                 :::*                   users:(("node_exporter",pid=898,fd=3))

步骤3:修改监控服务器的配置文件(Prometheus操作)

1)修改配置文件

参考配置文件的监控任务模板,在【scrape_configs:】下添加3行新内容,具体内容如下:

[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['192.168.4.10:9090']
  - job_name: 'node1'                  //监控任务名称(可任意)
    static_configs:
    - targets: ['192.168.4.11:9100']    //被监控端主机和端口
[root@prometheus ~]# systemctl restart prometheus.service     //重启服务

步骤4:登录Prometheus监控控制台

1) 查看监控主机、监控数据

使用浏览器访问http://192.168.4.10:9090,进入监控首页,通过【Status】-->【Targets】,查看监控主机列表,验证是否有新增监控对象主机(确保被监控端服务正常开启,端口9100)

选择具体的监控数据(例如node_load1平均负载量1分钟),点击<Graph>,可查看选择的监控数据对应的监控图形

三、Grafana概述

Grafana 是一个开源的分析和交互式可视化平台,专门用于监控和分析时间序列数据。它由 Torkel Ödegaard 创建,并于2014年首次发布。Grafana 以其强大的可视化能力、灵活的仪表板和插件生态系统而闻名,已成为监控领域的重要工具之一。

主要功能:

数据源支持:

  • Grafana 支持多种数据源,包括 Prometheus、Graphite、InfluxDB、Elasticsearch、MySQL、PostgreSQL 等。
  • 用户可以从多个数据源中获取数据,并在同一个仪表板上进行可视化展示。

可视化:

  • 提供丰富的可视化选项,包括图表、图形、表格、热图、仪表盘等。
  • 支持自定义可视化,用户可以根据需要创建复杂的图表和仪表板。

仪表板:

  • 提供灵活的仪表板功能,用户可以创建、编辑和共享仪表板。
  • 支持变量(Variables)和模板(Templating),便于动态更新和过滤数据。

告警和通知:

  • 支持基于仪表板数据的告警功能,可以在检测到异常时发送通知。
  • 支持多种通知渠道,包括电子邮件、Slack、PagerDuty 等。

插件生态系统:

  • 提供丰富的插件系统,用户可以扩展 Grafana 的功能,包括数据源插件、面板插件和应用插件。
  • 社区活跃,不断有新的插件和功能被开发和发布。

权限管理:

  • 支持基于角色的访问控制(RBAC),可以对用户和团队进行细粒度的权限管理。
  • 支持 LDAP、OAuth 和其他认证方式。

Grafana 的架构主要包括以下组件:

  • Grafana Server:核心组件,负责处理请求、数据查询和可视化展示。
  • 数据源:连接到各种时间序列数据库和监控系统,获取数据。
  • 仪表板:用户定义的可视化界面,用于展示和分析数据。
  • 插件系统:扩展 Grafana 功能的插件,包括数据源插件、面板插件和应用插件。


案例3:grafana可视化监控数据

案例要求:配置grafana实现数据可视化效果,完成以下任务:

  • 1)安装Grafana
  • 2)修改grafana配置
  • 3)导入可视化模板
  • 4)查看监控图表

步骤1:安装部署grafana(prometheus操作)

1)安装grafana软件(可参考/linux-soft/2/prometheus_soft.tar.gz)

[root@prometheus ~]# cd prometheus_soft/
[root@prometheus prometheus_soft]# ls
grafana-6.7.3-1.x86_64.rpm
...
[root@prometheus prometheus_soft]# yum -y install grafana-6.7.3-1.x86_64.rpm  //安装软件包(可在任何主机上安装)

2)启动服务

[root@prometheus ~]# systemctl enable grafana-server.service --now   //设置服务开机自启动服务并立刻启动
[root@prometheus ~]# ss -nlptu | grep :3000     //grafana服务端口3000
tcp    LISTEN     0      128      :::3000                 :::*                   users:(("grafana-server",pid=1201,fd=7))

3)登录可视化平台,重置登录密码

浏览器访问Grafana可视化平台http://192.168.4.10:3000,默认用户名和密码:admin

重置用户名和密码:admin(第一次登录,为了安全需要重置密码)

登录Grafana可视化平台后,显示首页页面内容,如图所示:

补充:浏览器兼容问题,可能无法重置密码,如果无法重置密码,则可设置grafana允许匿名登录,具体操作如下(非必要,不要执行如下操作)

[root@prometheus ~]# vim /etc/grafana/grafana.ini
[auth.anonymous]    //anonymous匿名的
enabled = true   //是否允许匿名
org_role = Admin   //以什么角色登录(Admin管理员用户)
[root@prometheus ~]# systemctl restart grafana-server.service   //修改后需重启服务

步骤2:配置Grafana

浏览器访问Grafana控制台,http://192.168.4.10:3000,添加数据源(有数据才能生成可视化图形)

1)添加数据源(查看Prometheus监控端的系统信息)

Grafana可以将数据图形化,点击【Add data source】,选择从【Prometheus】获取数据;

填写Prometheus的基本信息,URL指定:http://192.168.4.10:9090,从该URL获取数据源;

2)导入可视化模板

使用不同的可视化模板(折线图、饼图、热图等),可实现将不同的数据进行图形化展示,点击<Data Sources>,选择需要可视化的数据源(例如Prometheus-1)

点击【Dashboards商业智能仪表盘】,导入Prometheus 2.0 Stats图形化模板;

点击<Prometheus 2.0 Stats图形化模板>,可查看该模板下连接Prometheus数据源的可视化界面,如图所示:

步骤3:查看被监控主机的系统信息

1)导入主机监控的可视化模板(node_exporter模板)

模板:1-node-exporter-for-prometheus-dashboard-update-1102_rev11.json

通过真机浏览器访问,所以需解压在真机目录下(可参考/linux-soft/2/prometheus_soft.tar.gz)

[root@localhost 桌面]# tar -xf /linux-soft/2/prometheus_soft.tar.gz    //解压压缩包

2)选择数据源

导入监控主机的可视化模板后,就可以查看主机的监控图形了,但该可视化图形的数据暂未获取,需要设置prometheus为数据源(Prometheus-1),完成后点击导入;

返回Grafana首页,点击node_exporter可视化模板,查看可视化监控图形;

最终的可视化界面,如图所示:


案例4:监控数据库

案例要求:使用prometheus监控MariaDB数据库,完成以下任务:

  • 1)安装数据库
  • 2)安装数据库exporter
  • 3)配置数据库账户和密码
  • 4)导入监控模板

步骤1:安装MariaDB(node1操作)

1)安装软件,启动服务

[root@node1 ~]# yum -y install mariadb-server
[root@node1 ~]# systemctl enable mariadb --now
[root@node1 ~]# ss -nlptu | grep :3306
tcp    LISTEN     0      50        *:3306                  *:*                   users:(("mysqld",pid=1415,fd=14))

2)创建数据库账户,配置密码

监控服务器需要监控数据库,需创建一个对数据库有权限的账户并配置密码。

[root@node1~]# mysql
MariaDB [(none)]> grant all on *.* to 'jerry'@'127.0.0.1' identified by '123';
Query OK, 0 rows affected (0.00 sec)
MariaDB [(none)]> quit

解释:创建用户jerry,授予该用户对所有数据库和表拥有所有权限,可以从本机127.0.0.1登录服务器,密码为123

步骤2:部署被控制端软件

1)安装mysqld_exporter导出器(可参考/linux-soft/2/prometheus_soft.tar.gz)

[root@node1 ~]# cd prometheus_soft/
[root@node1 prometheus_soft]# ls
mysqld_exporter-0.12.1.linux-amd64.tar.gz
mysql-overview_rev5.json
mysql_rev1.json
...
[root@node1 prometheus_soft]# tar -xf mysqld_exporter-0.12.1.linux-amd64.tar.gz
[root@node1 prometheus_soft]# ls mysqld_exporter-0.12.1.linux-amd64
LICENSE  mysqld_exporter  NOTICE
[root@node1 prometheus_soft]# mv mysqld_exporter-0.12.1.linux-amd64 /usr/local/mysqld_exporter

2)创建数据库配置文件.my.cnf,记录访问数据库信息

[root@node1 ~]# vim /usr/local/mysqld_exporter/.my.cnf
[client]
host=127.0.0.1    //数据库的主机
port=3306   //数据库的端口
user=jerry   //数据库的用户名
password=123   //数据库的密码

解释:创建数据库配置文件.my.cnf,在监控服务器访问被监控服务器的mysqld_exporter服务时,exporter会自动读取配置文件,使用配置文件用的账户和密码信息访问数据库,获取数据库监控信息;

3)编写服务service文件,使用systemd管理服务(端口9104)

[root@node1 ~]# vim /usr/lib/systemd/system/mysqld_exporter.service
[Unit]
Description=node_exporter
After=network.target
[Service]
ExecStart=/usr/local/mysqld_exporter/mysqld_exporter \
--config.my-cnf=/usr/local/mysqld_exporter/.my.cnf
[Install]
WantedBy=multi-user.target
[root@node1 ~]# systemctl enable mysqld_exporter --now
[root@node1 ~]# ss -nlptu | grep :9104
tcp    LISTEN     0      128      :::9104                 :::*                   users:(("mysqld_exporter",pid=1561,fd=3))

补充:--config是mysqld_exporter的选项,指定配置文件位置

步骤3:修改监控服务器的配置文件(Prometheus操作)

1)修改监控服务器配置文件

参考配置文件的监控任务模板,在【scrape_configs:】下添加3行新内容,具体内容如下:

[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml
scrape_configs:    //抓取数据
...
  - job_name: 'mysql'     //监控任务的名称
    static_configs:
    - targets: ['192.168.4.11:9104']    //被监控主机IP和端口
[root@prometheus ~]# systemctl restart prometheus.service

解释:targets指定被监控主机192.168.4.11,端口9104,连接后pull拉取监控数据

步骤4:登录Prometheus监控控制台

1) 查看监控主机、监控数据

使用浏览器访问http://192.168.4.10:9090,进入监控首页,通过【Status】-->【Targets】,查看监控主机列表,验证是否有新增监控对象主机(确保被监控端服务正常开启,端口9104)

步骤5:配置Grafana可视化

1)查看Prometheus监控服务状态(浏览器访问http://192.168.4.10:9090)

查看prometheus是否已经识别到MariaDB数据库主机,状态为UP;

2)访问Grafana平台,导入数据库可视化模板(浏览器访问http://192.168.4.10:3000)

导入数据库可视化模板

设置prometheus为数据源(Prometheus-1),完成后点击导入;

可查看该模板下连接Prometheus数据源的可视化界面,如图所示:

思维导图:

小结:

本篇章节为【第二阶段】SECURITY-DAY3 的学习笔记,这篇笔记可以初步了解到 Prometheus监控服务器、Prometheus被监控端、Grafana监控可视化。除此之外推荐参考相关学习网址:


Tip:毕竟两个人的智慧大于一个人的智慧,如果你不理解本章节的内容或需要相关笔记、视频,可私信小安,请不要害羞和回避,可以向他人请教,花点时间直到你真正的理解

  • 19
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值