prometheus + grafana + 告警

于 2024-08-19 19:28:58 发布
阅读量713 收藏 11
点赞数 12
文章标签： prometheus grafana
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q911326/article/details/141253623
版权

配置环境

准备三台主机，将三台主机的信息分别写入/etc/hosts文件中
192.168.100.115 server.example.com server
192.168.100.116 agent1.example.com agent1
192.168.100.117 grafana.example.com grafana

[root@server ~]# cat /etc/hosts 
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.115  server.example.com   server
192.168.100.116  agent1.example.com   agent1
192.168.100.117  grafana.example.com  grafana

三台主机都需要有以下操作
安装工具

yum -y install tar lrzsz chrony

时钟同步

systemctl restart chronyd
systemctl enable chronyd
hwclock -w

prometheus

一、简介

Prometheus的主要特性有:

  1. 多维度数据模型
  2. 灵活的查询语言
  3. 不依赖分布式存储，单个服务器节点是自主的
  4. 以HTTP方式，通过pull模型拉去时间序列数据
  5. 也可以通过中间网关支持push模型
  6. 通过服务发现或者静态配置, 来发现目标服务对象
  7. 支持多种多样的图表和界面展示

pormetheus原理架构图

在这里插入图片描述

二、安装prometheus

1、server端安装

将prometheus包文件拖进来

[root@server ~]# rz -E
rz waiting to receive.
[root@server ~]# ls
anaconda-ks.cfg  -e  -i.bak  prometheus-2.54.0.linux-amd64.tar.gz

//prometheus这个包文件是二进制文件，解压就能用
[root@server ~]# tar -zxvf prometheus-2.54.0.linux-amd64.tar.gz -C /usr/local/

//文件名字太长，改一下文件名
[root@server ~]# cd /usr/local/
[root@server local]# ls
bin  etc  games  include  lib  lib64  libexec  prometheus-2.54.0.linux-amd64  sbin  share  src
[root@server local]# mv prometheus-2.54.0.linux-amd64 prometheus
[root@server local]# ls
bin  etc  games  include  lib  lib64  libexec  prometheus  sbin  share  src

2、启动prometheus

直接使用默认配置文件启动, 建议加&后台符号，否则当前命令窗口会被前台占用

[root@server local]# /usr/local/prometheus/prometheus --config.file="/usr/local/prometheus/prometheus.yml" &

//查看9090端口是否启动
[root@server local]# ss -antl
State             Recv-Q            Send-Q                       Local Address:Port                         Peer Address:Port            Process            
LISTEN            0                 128                                0.0.0.0:22                                0.0.0.0:*                                  
LISTEN            0                 4096                                     *:9090                                    *:*                                  
LISTEN            0                 128                                   [::]:22                                   [::]:*

3、访问prometheusdeweb界面

通过浏览器访问 http://服务器IP:9090 就可以访问到prometheus的主界面
在这里插入图片描述
查看监控主机的信息
在这里插入图片描述

通过 http://服务器IP:9090/metrics 可以查看到监控的数据
说明: 这里的metrics你可以类比成zabbix里的监控项
在这里插入图片描述

在web主界面可以通过关键字查询metrics, 并显示图形
比如process_cpu_seconds_total
在这里插入图片描述
点Graph是查看图形化

三、监控远程linux主机

1、安装node_exporter组件

[root@agent1 ~]# rz -E
rz waiting to receive.
[root@agent1 ~]# ls
anaconda-ks.cfg  -e  -i.bak  node_exporter-1.8.2.linux-amd64.tar.gz
[root@agent1 ~]# tar -zxvf node_exporter-1.8.2.linux-amd64.tar.gz -C /usr/local/

//文件名太长，更改文件名
[root@agent1 ~]# cd /usr/local/
[root@agent1 local]# ls
bin  etc  games  include  lib  lib64  libexec  node_exporter-1.8.2.linux-amd64  sbin  share  src
[root@agent1 local]# mv node_exporter-1.8.2.linux-amd64/ node_exporter/
[root@agent1 local]# ls
bin  etc  games  include  lib  lib64  libexec  node_exporter  sbin  share  src

2、启动node_exporter, 并验证端口

[root@agent1 local]# nohup node_exporter/node_exporter &
[1] 1124
[root@agent1 local]# nohup: ignoring input and appending output to 'nohup.out'

//9100端口启动成功
[root@agent1 local]# ss -anlt
State             Recv-Q            Send-Q                       Local Address:Port                         Peer Address:Port            Process            
LISTEN            0                 128                                0.0.0.0:22                                0.0.0.0:*                                  
LISTEN            0                 128                                   [::]:22                                   [::]:*                                  
LISTEN            0                 4096                                     *:9100                                    *:*

3、修改prometheus.yml配置文件并重启服务

[root@server ~]# vim /usr/local/prometheus/prometheus.yml 

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ["localhost:9090"]  //在文件最后写入以下三行
    - job_name: "agent1"    
      static_configs:
        - targets: ["192.168.100.116:9100"]
~

重启prometheus服务

[root@server ~]# /usr/local/prometheus/prometheus --config.file="/usr/local/prometheus/prometheus.yml" &

//查看进程和端口
[root@server ~]# ps -ef | grep prometheus
root         952     671  0 15:57 pts/0    00:00:00 /usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml
root         959     671  0 15:58 pts/0    00:00:00 grep --color=auto prometheus
[root@server ~]# ss -anlt
State             Recv-Q            Send-Q                       Local Address:Port                         Peer Address:Port            Process            
LISTEN            0                 128                                0.0.0.0:22                                0.0.0.0:*                                  
LISTEN            0                 4096                                     *:9090                                    *:*                                  
LISTEN            0                 128                                   [::]:22                                   [::]:*

网页刷新一下
在这里插入图片描述

四、监控自己

1、server端安装node_exporter

将包文件拖进来

[root@server ~]# rz -E
rz waiting to receive.
[root@server ~]# ls
anaconda-ks.cfg  data  -e  -i.bak  node_exporter-1.8.2.linux-amd64.tar.gz  prometheus-2.54.0.linux-amd64.tar.gz
[root@server ~]# tar -zxvf node_exporter-1.8.2.linux-amd64.tar.gz -C /usr/local/

//文件名太长了改下名字
[root@server ~]# cd /usr/local/
[root@server local]# ls
bin  data  etc  games  include  lib  lib64  libexec  exporter-1.8.2.linux-amd64  nohup.out  prometheus  sbin  share  src
[root@server local]# mv node_exporter-1.8.2.linux-amd64/ node_exporter/
[root@server local]# ls
bin  data  etc  games  include  lib  lib64  libexec  node_exporter  nohup.out  prometheus  sbin  share  src

2、启动node_exporter

[root@server local]# nohup node_exporter/node_exporter &
[2] 716
[root@server local]# nohup: ignoring input and appending output to 'nohup.out'

[root@server local]# ss -anlt
State          Recv-Q         Send-Q                 Local Address:Port                 Peer Address:Port         Process         
LISTEN         0              128                          0.0.0.0:22                        0.0.0.0:*                            
LISTEN         0              4096                               *:9100                            *:*                            
LISTEN         0              4096                               *:9090                            *:*                            
LISTEN         0              128                             [::]:22                           [::]:*                   
//9100端口启动成功

3、修改prometheus.yml文件并重启服务

[root@server ~]# vim /usr/local/prometheus/prometheus.yml 
//在文件最后写入
  - job_name: "server"
    static_configs:
      - targets: ["192.168.100.115:9100"]

//kill掉这个进程，然后再启动
[root@server ~]# ps -ef | grep prometheus
root         694     669  0 15:30 pts/0    00:00:00 /usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml
root         802     669  0 15:48 pts/0    00:00:00 grep --color=auto prometheus
[root@server ~]# kill -9 694
[root@server ~]# ps -ef | grep prometheus
root         804     669  0 15:48 pts/0    00:00:00 grep --color=auto prometheus
[1]-  Killed                  /usr/local/prometheus/prometheus --config.file="/usr/local/prometheus/prometheus.yml"

[root@server ~]# /usr/local/prometheus/prometheus --config.file="/usr/local/prometheus/prometheus.yml" &

刷新以下web界面，这就有了
在这里插入图片描述

五、监控远程mysql

这里我是将mariadb部署在agent1主机上

1、安装mysqld_exporter与mariadb

先将包文件拖进来

[root@agent1 ~]# rz -E
rz waiting to receive.
[root@agent1 ~]# ls
anaconda-ks.cfg  -e  -i.bak  mysqld_exporter-0.15.1.linux-amd64.tar.gz  node_exporter-1.8.2.linux-amd64.tar.gz  nohup.out

//解压包文件
[root@agent1 ~]# tar -zxvf mysqld_exporter-0.15.1.linux-amd64.tar.gz -C /usr/local/
[root@agent1 ~]# cd /usr/local/
[root@agent1 local]# ls
bin  etc  games  include  lib  lib64  libexec  mysqld_exporter-0.15.1.linux-amd64  node_exporter  nohup.out  sbin  share  src
[root@agent1 local]# mv mysqld_exporter-0.15.1.linux-amd64/ mysqld_exporter/
[root@agent1 local]# ls
bin  etc  games  include  lib  lib64  libexec  mysqld_exporter  node_exporter  nohup.out  sbin  share  src

安装mariadb

[root@agent1 local]# yum -y install mariadb-server mariadb
[root@agent1 local]# systemctl restart mariadb.service 
[root@agent1 local]# systemctl enable mariadb
Created symlink /etc/systemd/system/mysql.service → /usr/lib/systemd/system/mariadb.service.
Created symlink /etc/systemd/system/mysqld.service → /usr/lib/systemd/system/mariadb.service.
Created symlink /etc/systemd/system/multi-user.target.wants/mariadb.service → /usr/lib/systemd/system/mariadb.service.
[root@agent1 local]#

2、授权

[root@agent1 local]# mysql
MariaDB [(none)]> grant all ON *.* to 'mysql_monitor'@'localhost' identified by 'redhat';
Query OK, 0 rows affected (0.001 sec)

MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.000 sec)
MariaDB [(none)]> exit
Bye

3、 创建连接mariadb配置文件

[root@agent1 ~]# vim /usr/local/mysqld_exporter/.my.cnf

//在文件内写入以下内容
[client]
user=mysql_monitor
password=redhat

4、 启动mysqld_exporter

[root@agent1 ~]# nohup /usr/local/mysqld_exporter/mysqld_exporter --config.mycnf=/usr/local/mysqld_exporter/.my.cnf &
[2] 2766
[root@agent1 ~]# nohup: ignoring input and appending output to 'nohup.out'

[2]+  Exit 1                  nohup /usr/local/mysqld_exporter/mysqld_exporter --config.mycnf=/usr/local/mysqld_exporter/.my.cnf
[root@agent1 ~]# ss -anlt
State          Recv-Q         Send-Q                 Local Address:Port                 Peer Address:Port         Process         
LISTEN         0              128                          0.0.0.0:22                        0.0.0.0:*                            
LISTEN         0              128                             [::]:22                           [::]:*                            
LISTEN         0              4096                               *:9100                            *:*                            
LISTEN         0              80                                 *:3306                            *:*

5、更改prometheus配置文件并重启服务

[root@server ~]# vim /usr/local/prometheus/prometheus.yml
//在文件最后添加信息
  - job_name: "agent1-mariadb"
    static_configs:
      - targets: ["192.168.100.116:9100"]

//重新启动服务
[root@server ~]# ps -ef | grep prometheus
root         806     669  0 15:49 pts/0    00:00:00 /usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml
root         895     669  0 16:19 pts/0    00:00:00 grep --color=auto prometheus
[root@server ~]# kill -9 806
[root@server ~]# /usr/local/prometheus/prometheus --config.file="/usr/local/prometheus/prometheus.yml" &

刷新web界面，这就有了
在这里插入图片描述

grafana

在这里插入图片描述

一、安装grafana

1、在grafana端安装grafana

[root@grafana ~]# rz -E
rz waiting to receive.
[root@grafana ~]# ls
anaconda-ks.cfg  -e  grafana-6.4.2-1.x86_64.rpm  -i.bak
[root@grafana ~]# rpm -ivh grafana-6.4.2-1.x86_64.rpm 
warning: grafana-6.4.2-1.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID 24098cb6: NOKEY
error: Failed dependencies:
	fontconfig is needed by grafana-6.4.2-1.x86_64
	freetype is needed by grafana-6.4.2-1.x86_64
	urw-fonts is needed by grafana-6.4.2-1.x86_64
	//这里报错是正常的，需要安装依赖包
[root@grafana ~]# yum -y install fontconfig freetype urw-fonts

[root@grafana ~]# rpm -ivh grafana-6.4.2-1.x86_64.rpm 
warning: grafana-6.4.2-1.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID 24098cb6: NOKEY
Verifying...                          ################################# [100%]
Preparing...                          ################################# [100%]
Updating / installing...
   1:grafana-6.4.2-1                  ################################# [100%]
### NOT starting on installation, please execute the following statements to configure grafana to start automatically using systemd
 sudo /bin/systemctl daemon-reload
 sudo /bin/systemctl enable grafana-server.service
### You can start grafana-server by executing
 sudo /bin/systemctl start grafana-server.service
POSTTRANS: Running script

2、启动grafana

[root@grafana ~]# systemctl restart grafana-server
[root@grafana ~]# systemctl enable grafana-server
Created symlink /etc/systemd/system/multi-user.target.wants/grafana-server.service → /usr/lib/systemd/system/grafana-server.service.
[root@grafana ~]# ss -anlt
State          Recv-Q         Send-Q                 Local Address:Port                 Peer Address:Port         Process         
LISTEN         0              128                          0.0.0.0:22                        0.0.0.0:*                            
LISTEN         0              4096                               *:3000                            *:*                            
LISTEN         0              128                             [::]:22                           [::]:*                  
//3000端口启动，就表名grafana启动成功

二、浏览器访问并添加数据

默认登陆用户和密码均为admin
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
添加完成

三、grafana实现自定义监控cpu负载

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这就有了
在这里插入图片描述

grafana+onealert报警

prometheus报警需要使用alertmanager这个组件，而且报警规则需要手动编写(对运维来说不友好)。
所以我这里选用grafana+onealert报警。

一、 在onealert里添加grafana应用

这里我适使用：http://www.onealert.com
作为告警平台
在这里插入图片描述
在这里插入图片描述

下滑找到
在这里插入图片描述
在这里插入图片描述
配置通知策略
在这里插入图片描述
在grafana增加通知通道
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
测试结果
在这里插入图片描述
在这里插入图片描述

时迁10
关注
  • 12
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
K8s（十二）：监控与报警（163邮箱+钉钉）-Prometheus + Grafana + Alertmanager（超详细）
✨ 欢迎来到【Seal ^_^ 的CSDN博客】！这里是我记录技术心得、分享经验的地方。✨
04-08 1万+
🔴 K8s（十二）：监控与报警（163邮箱+钉钉）-Prometheus + Grafana + Alertmanager（超详细）
prometheus + alertmanager + grafana +钉钉告警 动部署包
06-29
Prometheus、Alertmanager、Grafana以及钉钉告警是监控和报警系统的关键组件，尤其在 Kubernetes (k8s) 集群环境中。这个手动部署包提供了在 Kubernetes 上搭建这套系统的 YAML 文件，使得用户可以方便地应用配置，...
Prometheus + Grafana 构建强大的监控和数据可视化系统
热门推荐
qq_35716689的博客
01-19 56万+
想要为自己的网站添加一套监控服务？这里有着详细的教程。使用了 SpringBoot Actuator + Prometheus + Grafana ，轻量方便扩展。作者：鼠鼠我捏，要死了捏
监控系统prometheus+grafana+发送告警信息
干货满满~
03-16 1585
targets: ['xxx.xxx.xxx.xxx:9100'] 添加多个主机以逗号分隔['xxx.xxx.xxx.xxx:9100','xxx.xxx.xxx.xxx:9100']6、node_exporter下载地址 https://prometheus.io/download/5、grafana官网下载 https://grafana.com/grafana/download。4、prometheus官网下载 https://prometheus.io/download/
Prometheus+Grafana+Alertmanager监控告警
爱意随风起，人生不可弃。
07-30 412
基于Prometheus+Grafana+Alertmanage的监控告警。
Prometheus + Grafana 监控和告警
eyeofeagle的博客
10-26 7570
重启Prometheus 主程序，查看加载到的告警配置 （点击 Alerts 或Status–> Rules）查看采集器状态（数据接入接口地址）：Status --> Targets。以下用node export为例：默认启动端口 9100。编辑 rules/node_alert.yml。
六.逼格拉满-Prometheus+Grafana微服务监控告警
墨家巨子@俏如来
05-23 2217
微服务架构是一个分布式系统，由多个独立的服务组成，每个服务可能运行在不同的容器、虚拟机或物理机上，那么在生产环境中我们需要随时监控服务的状态，以应对各种突发情况，比如：内存爆满，CPU标高等等。Prometheus作为一种开源的监控和告警系统，天生就是为分布式系统设计的。它能够轻松地收集、存储和查询各个微服务的监控数据，为微服务架构提供全面的监控能力。Prometheus（普罗米修斯）是一个最初在SoundCloud上构建的监控系统。自2012年成为社区开源项目，拥有非常活跃的开发人员和用户社区。
2023年最新prometheus + grafana搭建和使用+gmail邮箱告警配置
gitxuzan
12-07 2万+
这里填写prometheus 的数据源地址，因为grafana 和 prometheus 放到一台服务器上了，所以我填写的是localhost。在grafana 界面导入dashborad ，可以通过ID导入。copy dashborads 的ID。选择一个dashborads。最后选择刚刚的数据源。
Prometheus + Grafana 监控系统-告警规则配置
大雪冬至的博客
07-05 496
安装和部署 Alertmanager ：按照官方文档或相关教程进行安装和部署。配置Prometheus：在Prometheus的配置文件中（通常是prometheus.yml），指定Alertmanager的地址和端口。编写告警规则：使用PromQL编写告警规则，并定义在何时触发告警。规则通常配置在Prometheus的配置文件中，或者使用单独的YAML文件进行配置。
Prometheus+Grafana+企业微信机器人告警
顾优秀的博客
05-25 3673
开源监控和报警系统。
prometheus + grafana 监控所需文件
01-04
5. **监控和报警**：设置Prometheus的规则文件，定义告警条件，当特定指标超过阈值时，触发报警通知。 通过这种方式，IT团队可以及时发现和解决Spark作业中的性能瓶颈，优化资源利用率，确保大数据处理的稳定性和...
Prometheus+Grafana搭建全方位的监控告警系统
06-19
Prometheus是一个开源的系统监控和告警系统，现在已经加入到CNCF基金会，成为继k8s之后第二个在CNCF维护管理的项目，在kubernetes容器管理系统中，通常会搭配prometheus进行监控，prometheus支持多种exporter采集...
Prometheus+Grafana+Alertmanager+钉钉报警
06-06
通过Prometheus-webhook-dingtalk，我们可以将Prometheus的警报发送到钉钉群，确保团队成员能够及时收到告警信息。 安装步骤大致如下： 1. 安装Prometheus：解压`prometheus-2.33.3.linux-amd64.tar.gz`，配置...
Prometheus+Grafana（Kubernetes）企业级监控
06-19
5. kube-prometheus在Kubernetes的应用，对k8s的各个组件的监控、告警、和对部署在k8s中应用的监控。 注意：本课程学习需要具有一定的Linux基础，网络基础，至少需要您了解网络七层协议，路由等基础知识，并掌握...
Prometheus 监控指标采集
Korbin的博客
08-13 1093
在现代分布式系统和云原生环境中，为了确保复杂的分布式系统和服务的高可用性、可靠性和性能，通常采用实时可视化监控和分析，实现故障快速响应、资源优化和安全保障，从而提升用户满意度和运营效率。在目前主流的解决方案中，Prometheus和Grafana是两个使用 Go 开发的强大开源工具，通常一起使用来实现全面的监控和可视化系统。其中Prometheus负责采集和存储监控对象的时序数据。
Gin框架接入Prometheus,grafana辅助pprof检测内存泄露
m0_61253599的博客
08-14 728
我们在使用golang 高并行处理下游任务的时候，一定要对下游基础设施要有敬畏之心，调用时最好设置上context超时控制，做好超时熔断措施，做好监控警告，下游基础设施如果达到瓶颈，我们可对下游基础进行主从 水平扩容等。我们想给Prometheus新增监听任务新增ginapp项目只需要在原来的配置文件下面新增ginapp相关metric。之前我们生产项目中出现过一次严重的内存泄露，例子如下图所示，该接口qps非常高。配置之后我们看以在dashboard看到。数量已经爆表了，我的mac风扇开始转了。
实时监控Windows服务器：使用Prometheus和Grafana的终极方案
weixin_48278764的博客
08-16 640
实时监控Windows服务器：使用Prometheus和Grafana的终极方案
Grafana学习笔记
最新发布
www_tlj的专栏
08-18 608
Grafana 是一个开源的数据可视化和监控平台，专门设计用于从各种数据源中收集和展示数据。它最初作为一个图表生成工具，用于显示时间序列数据，但已经发展成一个功能强大且灵活的仪表板工具，适用于多种数据类型和场景。Grafana 的核心功能是通过可视化图表和仪表板，将原始数据转换为易于理解的图形和报告。它支持丰富的插件生态系统，使得用户可以通过各种插件扩展其功能，如不同的图表类型、数据源支持和报警系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值