Prometheus+Grafana+Consul+Consul_Exporter+Node_Exporter+AlertManager+BlackBox_Exporter(一)

最新推荐文章于 2023-12-08 17:49:53 发布
最新推荐文章于 2023-12-08 17:49:53 发布
阅读量1.1k 收藏 4
点赞数
文章标签： consul 运维 prometheus
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42794720/article/details/125595513
版权

1.目标

1.Grafana从Prometheus拉取数据图表化展示监控结果
2.Prometheus生成告警规则并推送告警至AlertManager做分组抑制处理最后到达邮箱

2.版本

Prometheus 2.36.2
Influxdb 1.7.8
Grafana 7.0.6
Consul 1.6.1
Consul_Exporter 0.8.0
Node_Exporter 1.3.1
AlertManager 0.24.0
BlackBox_Exporter 0.21.1
CentOS 7.5

3.安装包

Prometheus官网下载地址：https://prometheus.io/download/
自己整理的安装包可用天翼云盘下载：https://cloud.189.cn/t/3aMBJzJNFZje (访问码:9j3c)

在这里插入图片描述

4.1安装

#1.1解压prometheus
tar -xvf prometheus-2.36.2.linux-amd64.tar.gz -C /usr/local/prometheus
#1.2编辑服务开机启动文件
#--web.enable-admin-api 这个参数是为了开启用api查看删除prometheus收集的数据
vim /usr/lib/systemd/system/prometheus.service
	[Unit]
	Description=prometheus
	After=network.target 
	
	[Service]
	User=prometheus
	Group=prometheus
	WorkingDirectory=/usr/local/prometheus
	ExecStart=/usr/local/prometheus/prometheus --web.enable-admin-api
	[Install]
	WantedBy=multi-user.target
#1.3编辑配置文件，配置数据保存至influxdb

#追加到配置文件末尾即可
vim /usr/local/prometheus/prometheus.yml

	# Data save to influxdb
	remote_write:
	  - url: "http://localhost:8086/api/v1/prom/write?db=prometheus"
	remote_read:
	  - url: "http://localhost:8086/api/v1/prom/read?db=prometheus"
#1.4influxdb创建prometheus库
create database prometheus;

#2.安装grafana
yum install /root/grafana-7.0.6-1.x86_64.rpm

#3.1解压Node_Exporter 
tar -xvf node_exporter-1.3.1.linux-amd64.tar.gz -C /usr/local/node_exporter
#3.2编辑服务开机启动文件
vim /usr/lib/systemd/system/node_exporter.service
	[Unit]
	Description=node_exporter
	After=network.target 
	
	[Service]
	User=prometheus
	Group=prometheus
	ExecStart=/usr/local/exporter/node_exporter --web.listen-address=:20001 --collector.systemd --collector.systemd.unit-whitelist=(sshd|nginx).service --collector.processes 
	[Install]
	WantedBy=multi-user.target

#4.1consul解压
unzip /root/consul_1.6.1_linux_amd64.zip -d /usr/local/consul
#4.2编辑服务开机启动文件
vim /usr/lib/systemd/system/consul.service
	[Unit]
	Description=consul
	After=network.target
	
	[Service]
	ExecStart=/usr/local/consul/consul agent -dev -client 0.0.0.0 -ui
	[Install]
	WantedBy=multi-user.target
#4.3prometheus配置文件增加配置
#在scrape_configs块增加配置
vim /usr/local/prometheus/prometheus.yml
  scrape_configs:
	# node metrics 8500是consul监听的端口，所有的服务注册到consul上
	  - job_name: "Client"
	    consul_sd_configs: 
	    - server: "192.168.8.140:8500"
	      services: []

#5.1consul_exporter解压
tar -xvf consul_exporter-0.8.0.linux-amd64.tar.gz -C /usr/local/consul_exporter
#5.2编辑服务开机启动文件
vim /usr/lib/systemd/system/consul_exporter.service
	[Unit]
	Description=consul_exporter
	After=network.target
	
	[Service]
	ExecStart=/usr/local/consul_exporter/consul_exporter
	[Install]
	WantedBy=multi-user.target

#6.1alertmanager解压
tar -xvf alertmanager-0.24.0.linux-amd64.tar.gz -C /usr/local/alertmanager
#6.2编辑服务开机启动文件
vim /usr/lib/systemd/system/alertmanager.service
	[Unit]
	Description=alertmanager
	After=network.target
	
	[Service]
	WorkingDirectory=/usr/local/alertmanager
	ExecStart=/usr/local/alertmanager/alertmanager
	[Install]
	WantedBy=multi-user.target
#6.3prometheus配置文件增加配置
#这段配置是本来就有的，直接在相应地方修改就行
vim /usr/local/prometheus/prometheus.yml
	global:
	  scrape_interval: 1s # 这个配置默认1分钟，我为了看效果，修改成了一秒，会导致发送很多告警
	  evaluation_interval: 1s # 加载执行报警规则间隔，默认1分钟，我为了看效果，修改成了一秒
	  # scrape_timeout is set to the global default (10s).
	
	# Alertmanager configuration
	alerting:
	  alertmanagers:
	    - static_configs:
	        - targets:
	          - 192.168.8.140:9093	#alertmanager的地址
	
	# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
	rule_files:
	  - "rules/*.yml"	# rules是在安装目录下创建的文件夹，存放定义的告警规则
	  # - "second_rules.yml"
#6.4创建rules目录并定义告警规则
mkdir /usr/local/prometheus/rules
#annotations下定义的summary，recover等变量都可以在alertmanager的模板文件引用到，
#同时也可自定义变量，recover，recover_description都是我自定义的变量
#$labels.instance是prometheus预定义的变量，可通过官网文档查看
vim /usr/local/prometheus/rules/base.yml
	groups:
	- name: node-up
	  rules:
	  - alert: node-up
	    expr: up{job="Client"} == 0
	    for: 1s
	    labels:
	      severity: 1
	      team: node
	    annotations:
	      summary: "{{ $labels.instance }} 停止运行"
	      recover: "{{ $labels.instance }} 恢复运行"
	      description: "{{ $labels.instance }} 异常"
	      recover_description: "{{ $labels.instance }} 恢复正常，请确认！"
#6.5创建邮件模板
#创建模板存放目录
mkdir /usr/local/alertmanager/data/template

#编辑模板文件
#在渲染邮件内容时，根据if判断选择告警通知还是告警恢复模板
#email.from email.to填写自己真实的发件人收件人邮箱地址
vim /usr/local/alertmanager/data/template/email.template
	
	{{ define "email.from" }}test@189.cn{{ end }}
	{{ define "email.to" }}test@qq.com{{ end }}
	{{ define "email.to.html" }}
	{{- if gt (len .Alerts.Firing) 0 -}}{{ range .Alerts }}
	<h2>告警通知</h2>
	=========start==========<br>
	告警程序: PrometheusAlert <br>
	告警时间: {{ .StartsAt.Local }} <br>
	告警级别: {{ .Labels.severity }} 级 <br>
	告警类型: {{ .Labels.alertname }} <br>
	故障主机: {{ .Labels.instance }} <br>
	告警主题: {{ .Annotations.summary }} <br>
	告警详情: {{ .Annotations.description }} <br>
	=========end==========<br>
	{{ end }}
	{{ end -}}
	{{- if gt (len .Alerts.Resolved) 0 -}}{{ range .Alerts }}
	<h2>告警恢复</h2>
	=========start==========<br>
	告警程序: PrometheusAlert <br>
	告警时间: {{ .StartsAt.Local }} <br>
	恢复时间: {{ .EndsAt.Local }} <br>
	告警级别: {{ .Labels.severity }} 级 <br>
	告警类型: {{ .Labels.alertname }} <br>
	故障主机: {{ .Labels.instance }} <br>
	告警主题: {{ .Annotations.recover }} <br>
	告警详情: {{ .Annotations.recover_description }} <br>
	=========end==========<br>
	{{ end }}
	{{ end -}}
#6.6编辑alermanager配置文件
# 根据alertname聚合同类邮件
vim /usr/local/alertmanager/alertmanager.yml
	global:
	  resolve_timeout: 3s
	  smtp_smarthost: 'smtp.189.cn:465'	#配置邮箱服务器地址
	  smtp_from: 'test@189.cn'
	  smtp_auth_username: 'test@189.cn'	#配置发件人地址
	  smtp_auth_password: 'Vmnifonm197.'	#密码
	  smtp_require_tls: false
	templates:
	  - '/usr/local/alertmanager/data/template/email.template'	# 邮件模板
	route:
	  group_by: ['alertname']
	  group_wait: 1s
	  group_interval: 1s	
	  repeat_interval: 30s	# 邮件重复发送间隔
	  receiver: 'mail'
	receivers:
	  - name: 'mail'
	    email_configs:
	      - to: '{{ template "email.to" . }}'	# 邮件模板里定义的变量
	        html: '{{ template "email.to.html" . }}'
	        #insecure_skip_verify: true
	        send_resolved: true
	inhibit_rules:
	  - source_match:
	      severity: 'critical'
	    target_match:
	      severity: 'warning'
	    equal: ['alertname', 'dev', 'instance']

#7.1blackbox_exporter解压
tar -xvf blackbox_exporter-0.21.1.linux-amd64.tar.gz -C /usr/local/blackbox_exporter
#7.2编辑服务开机启动文件
vim /usr/lib/systemd/system/blackbox_exporter.service
	[Unit]
	Description=blackbox_exporter
	After=network.target
	
	[Service]
	ExecStart=/usr/local/blackbox_exporter/blackbox_exporter --config.file=/usr/local/blackbox_exporter/blackbox.yml
	[Install]
	WantedBy=multi-user.target
#7.3prometheus配置文件增加配置
#在scrape_configs下增加配置
vim /usr/local/prometheus/prometheus.yml
  scrape_configs:
	# blackbox job
	  - job_name: "Check"
	    metrics_path: /probe	#这项配置固定的不能改
	    params:
	      module: [http_2xx]
	    consul_sd_configs:
	    - server: "192.168.8.140:8500"
	      services: []
	    relabel_configs:
	    - source_labels: [__address__]
	      target_label: __param_target
	    - source_labels: [__param_target]
	      target_label: instance
	    - target_label: __address__
	      replacement: 192.168.8.140:9115

#开机启动并立刻启动
systemctl enable --now  node_exporter
systemctl enable --now  grafana-server
systemctl enable --now  prometheus
systemctl enable --now  consul
systemctl enable --now  consul_exporter
systemctl enable --now  alertmanager
systemctl enable --now  blackbox_exporter

#将服务node_exporter注册到consul
cd /usr/local/consul
./consul services register -id=node-1 -name=node-1 -address=192.168.8.140 -port=20001 -tag=node_exporter

./consul services register -id=consul_exporter-1 -name=consul_exporter-1 -address=192.168.8.140 -port=9107 -tag=consul_exporter

./consul services register -id=blackbox_exporter-1 -name=blackbox_exporter-1 -address=192.168.8.140 -port=9115 -tag=blackbox_exporter

4.2Prometheus页面查看

网址：http://192.168.8.140:9090

1.查看运行状态版本信息

在这里插入图片描述

在这里插入图片描述

可以看到运行目录，Prometheus版本，Go版本，以及配置的Alertmanager地址信息

在这里插入图片描述

2.查看配置的监控节点

在这里插入图片描述

3.查看配置的告警规则

在这里插入图片描述

在这里插入图片描述

4.查看告警页面

在这里插入图片描述
5.查看Prometheus自带的图表页面
在这里插入图片描述

5.Grafana展示Node_Exporter监控数据

1.注意Grafana版本必须是7.0.6，其他版本一些图可能显示不出来

2.创建数据源

在这里插入图片描述
在这里插入图片描述

3.导入dashboard，开箱即用的node_exporter的图表，ID是：11074，输入ID从Grafana网站下载

在这里插入图片描述

在这里插入图片描述

4.最终效果

在这里插入图片描述

6.consul页面查看注册的服务

监听端口默认是8500
地址：http://192.168.8.140:8500/ui/dc1/services

在这里插入图片描述

7.Node_Exporter也有自己的页面

地址：http://192.168.8.140:20001/metrics

其实就是Prometheus抓取数据的地址

在这里插入图片描述

运维混子
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
第 9 章 监控系统 | 实战案例 - Consul 监控
甘蓝的专栏
09-16 3854
为 Consul 安装 consul_exporter，实现对 Consul 的监控。
CentOS7下利用docker搭建prometheus+grafana+consul监控环境
zhaizhai6_6的博客
08-28 3527
步骤： 安装docker docker运行consul docker运行prometheus docker运行grafana 前提条件： CentOS7操作系统 最新版本的yum 步骤1 检查内核版本$ uname -r，运行docker需要内核版本在3.10以上。 安装docker $ sudo yum install -y docker 检查是否安装成功，安装...
consul-exporter 容器安装部署
爱死亡机器人
08-07 3281
介绍 部署 docker run -tid --restart=always -p 9107:9107 --name consul-expoter prom/consul-exporter:latest --consul.server=192.168.1.190:8500 进程启动参数 ./consul_exporter --help consul.allow_stale: Allows any Consul server (non-leader) to service a read. consul.c
Prometheus 和 Grafana 监控 Consul服务端
南宫乘风-Linux运维-虚拟化容器-Python编程 ownit.top
03-17 1088
Consul是一款常用的服务发现和配置管理工具，可以很好地管理和发现分布式系统中的服务和实例。而Prometheus是一款常用的开源监控和告警系统，可以监控各种不同的系统组件并进行告警和分析。本文将介绍如何使用Prometheus监控Consul服务端，以便更好地管理和分析Consul集群的运行情况。
运维平台通过consul实现node_exporter的自动部署、自动发现
weixin_42574826的博客
04-16 663
golang+websocket+consul+vm(prmetheus)实现的运维平台监控部署、自动发现闭环
prometheus服务发现之consul
最新发布
weixin_42132143的博客
12-08 600
我们平时使用 prometheus 收集监控数据，例如通过 node_exporter 获取监控数据，那每次新增一个监控的节点，我们都得相对应地修改 prometheus 地配置文件并重启他，相当麻烦，于是，prometheus 就提供了服务发现地机制，可以动态新增监控的节点。欢迎指出我的错误！
Prometheus+Grafana+node_exporter安装包
04-14
参考文章：https://blog.csdn.net/m0_51197424/article/details/124161669 使用这三个安装包，配合这个博客，搭建多台服务器的监控平台
prometheus+Grafana+NODE_exporter+Windows_exporter.rar
03-22
压缩包有prometheus-2.19.0、grafana7.4、node_exporter1.1.2、alertmanager0.21.0、windows_exporter-0.16.0 更新时间2021年3月22日
node-exporter + prometheus + grafana 安装包
11-22
node_exporter + prometheus + grafana 安装包。
Shell脚本部署Prometheus+Grafana+Alertmanager
01-20
一、部署包下载地址 1.百度网盘 ...提取码：to74 二、使用方法 tar xvf prometheus_V2.15.tgz cd install_prom ...#FUNCTION:部署Prometheus+Grafana+Alertmanager #VERSION:Prometheus-V2.15 Grafana-V5.3.
prometheus + alertmanager + grafana +钉钉告警 动部署包
06-29
prometheus + alertmanager + grafana +钉钉告警手动部署包 ，自己写的yaml。创建ns，然后apply拉起来就好了。
prometheus+consul 动态注册+blackbox_exporter
ZLC20050116的博客
07-21 1783
首先为啥用consul动态注册 1.这个有健康检测，可以检测exporter的状态， 2.避免频繁的修改prometheus配置文件，方便管理 3.consul可以做集群避免单点故障 这里就用blackbox_exporter+consul+prometheus+grafana 一。安装blackbox_exporter 在我的随笔里面有百度云链接 https://www.c...
Prometheus+Grafana搭建全方位的监控告警系统
03-18
一、prometheus简介 Prometheus是一个开源的系统监控和告警系统，现在已经加入到CNCF基金会，成为继k8s之后第二个在CNCF维护管理的项目，在kubernetes容器管理系统中，通常会搭配prometheus进行监控，prometheus支持多种exporter采集数据，还支持通过pushgateway进行数据上报，Prometheus再性能上可支撑上万台规模的集群。 二、prometheus架构图 三、prometheus组件介绍 1.Prometheus Server: 用于收集和存储时间序列数据。 2.Client Library: 客户端库，检测应用程序代码，当Prometheus抓取实例的HTTP端点时，客户端库会将所有跟踪的metrics指标的当前状态发送到prometheus server端。 3.Exporters: prometheus支持多种exporter，通过exporter可以采集metrics数据，然后发送到prometheus server端 4.Alertmanager: 从 Prometheus server 端接收到 alerts 后，会进行去重，分组，并路由到相应的接收方，发出报警，常见的接收方式有：电子邮件，微信，钉钉, slack等。 5.Grafana：监控仪表盘 6.pushgateway: 各个目标主机可上报数据到pushgatewy，然后prometheus server统一从pushgateway拉取数据。 四、课程亮点 五、效果图展示 六、讲师简介 先超（lucky）：高级运维工程师、资深DevOps工程师，在互联网上市公司拥有多年一线运维经验，主导过亿级pv项目的架构设计和运维工作 主要研究方向： 1.云计算方向：容器 （kubernetes、docker），虚拟化（kvm、Vmware vSphere），微服务（istio），PaaS（openshift），IaaS（openstack）等2.系统/运维方向：linux系统下的常用组件（nginx，tomcat，elasticsearch，zookeeper，kafka等），DevOps（Jenkins+gitlab+sonarqube+nexus+k8s），CI/CD，监控（zabbix、prometheus、falcon）等 七、课程大纲
prometheus+grafana+pushgateway+node-exporter+consul搭建监控系统
liu0808的专栏
12-10 3895
一.总览 目录 一.总览 prometheus提供的一张图 这张图包含几部分 1.监控grafana 2.pull metrics：（1）pushgateway （2）exporters 3.服务发现service discovery，主要是动态发现exporters 4.告警alertmanager 5.prometheus server ...
prometheus+node_exporter+grafana实践
xal0610的博客
10-19 4105
介绍： prometheus：开源监控系统，可参考博客prometheus的搭建与使用 node_exporter：服务器端agent，负责采集服务器基础监控项 grafana：一个开源的度量分析与可视化套件，常用于展示监控信息 安装： 安装node_exporter，启动后监听9100端口 wget https://github.com/prometheus/node_export...
consul 剔除node_exporter的脚本
weixin_34378922的博客
04-26 629
#!/bin/bash clear echo "node_exporter注销工具" read -p "请输入要踢掉的节点IP,如果有多个IP,请使用英文格式 ',' 隔开: " IP_LIST for IP in `echo "${IP_LIST}"|awk -F, 'BEGIN{OFS=" "}{$1=$1;printf("%s",$0);}'` do curl -XPUT htt...
blackbox_exporter的使用
huan的学习记录
03-21 1万+
blackbox_exporter的使用一、需求二、blackbox_exporter的安装1、下载2、编写 blackbox.yml 配置文件3、启动 blackbox_exporter4、和 prometheus 集成5、在 grafana 中查看。6、如果需要监控告警三、参考链接 一、需求 有些时候，我们想监听服务器的某个端口是否存在，监听http的请求是否正确时，这个时候就可以使用 blackbox_exporter来实现。 注意： blackbox exporter 可以实现对 http，http
prometheus mysqld_exporter监控mysql-5.7
热门推荐
技术成就梦想
06-17 1万+
目录 一、CentOS7.5 Prometheus2.5+Grafana5.4监控部署 二、Prometheus监控node_exporter的告警规则 三、prometheus mysqld_exporter监控mysql-5.7 1、下载及解压安装包 https://github.com/prometheus/mysqld_exporter tar -xvf mysqld_export...
consul+promethus+grafana服务监控
weixin_41048370的博客
12-28 510
一、介绍 使用此三个工具实现服务注册、监控、显示 参考文章如下 ： https://mp.weixin.qq.com/s?__biz=MzA4MjkxMzMyNg==&mid=2654075110&idx=1& sn=8ad4e8fbae6e7e1280a2a9eb7951db14&chksm=843b29a7b34ca0b11a30d7d157c8c81028ad59e1ecf0c42e8f79b7808b3cb56487b74fad2608&scene=21#w
写出一个dockerpose来搭建prometheus+grafana+alertmanager+blackbox-exporter+node_export
05-30
好的，以下是一个基于Docker Compose的搭建Prometheus、Grafana、Alertmanager、Blackbox Exporter和Node Exporter的示例： ```yaml version: "3" services: prometheus: image: prom/prometheus container_name: prometheus ports: - "9090:9090" volumes: - ./prometheus/prometheus.yml:/etc/prometheus/prometheus.yml command: - '--config.file=/etc/prometheus/prometheus.yml' - '--web.enable-admin-api' restart: always grafana: image: grafana/grafana container_name: grafana ports: - "3000:3000" volumes: - ./grafana:/var/lib/grafana restart: always alertmanager: image: prom/alertmanager container_name: alertmanager ports: - "9093:9093" volumes: - ./alertmanager/config.yml:/etc/alertmanager/config.yml command: - '--config.file=/etc/alertmanager/config.yml' restart: always blackbox-exporter: image: prom/blackbox-exporter container_name: blackbox-exporter ports: - "9115:9115" volumes: - ./blackbox-exporter/config.yml:/etc/blackbox-exporter/config.yml command: - '--config.file=/etc/blackbox-exporter/config.yml' restart: always node-exporter: image: prom/node-exporter container_name: node-exporter ports: - "9100:9100" restart: always ``` 需要注意的是，这里的配置文件都需要自己创建并且挂载到对应的容器中。例如，prometheus.yml、config.yml和config.yml分别对应Prometheus、Alertmanager和Blackbox Exporter的配置文件。同时，Grafana的数据目录也需要挂载到主机上以便数据持久化。 另外，需要注意的是这只是一个示例，具体的配置文件需要根据实际情况进行修改。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值