Prometheus+Grafana企业级监控系统学习笔记

最新推荐文章于 2023-02-25 02:44:29 发布
最新推荐文章于 2023-02-25 02:44:29 发布
阅读量1.3k 收藏 6
点赞数 1
分类专栏： 企业运维与监控
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39595769/article/details/119187455
版权

Prometheus 概述

Prometheus简介

Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。
Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。
2016年由Google发起Linux基金会旗下的原生云基金会(Cloud Native Computing Foundation), 将Prometheus纳入其下第二大开源项目。	
Prometheus目前在开源社区相当活跃。
Prometheus和Heapster(Heapster是K8S的一个子项目，用于获取集群的性能数据)相比功能更完善、更全面。
Prometheus性能也足够支撑上万台规模的集群。

https://prometheus.io
https://github.com/prometheus

系统架构图

在这里插入图片描述

基本原理

Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。不需要任何SDK或者其他的集成过程。这样做非常适合做虚拟化环境监控系统，比如VM、Docker、Kubernetes等。输出被监控组件信息的HTTP接口被叫做exporter 。目前互联网公司常用的组件大部分都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux系统信息(包括磁盘、内存、CPU、网络等等)。

其大概的工作流程是：

Prometheus server 定期从配置好的 jobs 或者 exporters 中拉 metrics，或者接收来自 Pushgateway 发过来的 metrics，或者从其他的 Prometheus server 中拉 metrics。
Prometheus server 在本地存储收集到的 metrics，并运行已定义好的 alert.rules，记录新的时间序列或者向 Alertmanager 推送警报。
Alertmanager 根据配置文件，对接收到的警报进行处理，发出告警。
在Grafana图形界面中，可视化查看采集数据。

Prometheus的特性

Prometheus 特点：
• 多维数据模型：由度量名称和键值对标识的时间序列数据
• PromQL：一种灵活的查询语言，可以利用多维数据完成复杂的查询
• 不依赖分布式存储，单个服务器节点可直接工作
• 基于HTTP的pull方式采集时间序列数据
• 推送时间序列数据通过PushGateway组件支持
• 通过服务发现或静态配置发现目标
• 多种图形模式及仪表盘支持（grafana）

Prometheus的组件

Prometheus Server 主要负责数据采集和存储，提供PromQL查询语言的支持。
ClientLibrary 客户端库
Alertmanager 警告管理器，用来进行报警。
Push Gateway 短期存储指标数据。主要用于临时性的任务
Exporters 输出被监控组件信息的HTTP接口,采集已有的第三方服务监控指标并暴露metrics
Grafana 监控数据展示Web UI。

服务发现

Prometheus部署与配置文件

Prometheus部署

访问地址：
http://IP:9090

在这里插入图片描述

./premetheus -h 命令行常用参数：
• --config.file="prometheus.yml" 	#指定配置文件
• --web.listen-address= "0.0.0.0:9090" #监听地址和端口
• --log.level=info 	#日志级别
• --alertmanager.timeout=10s #与报警组件的超时时间
• --storage.tsdb.path="data/ " 	#数据目录
• --storage.tsdb.retention.time=15d # 数据保存时间，默认15天

• 二进制部署
https://prometheus.io/docs/prometheus/latest/getting_started/

在这里插入图片描述

二进制启动配置为系统服务管理

配置为系统服务管理
vi /usr/lib/systemd/system/prometheus.service

[Unit]
Description=prometheus

[Service]
ExecStart=/opt/monitor/prometheus/prometheus --config.file=/opt/monitor/prometheus/prometheus.yml
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure

[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl start prometheus
systemctl enable prometheus


• Docker部署	
https://prometheus.io/docs/prometheus/latest/installation/

错误的docker命令

docker run -d \
--name=prometheus \
-p 9090:9090 \
-v $PWD/prometheus.yml:/data/prometheus/prometheus.yml \
prom/prometheus
	
指定name中间不要等，看了半天才发现。也是醉了

正确的dockcer命令

docker run -d \
--name prometheus \
-p 9090:9090 \
-v $PWD/prometheus.yml:/data/prometheus/prometheus.yml \
prom/prometheus

$PWD可以写绝对路径

在这里插入图片描述

Prometheus配置文件

在这里插入图片描述

在这里插入图片描述

监控案例

如何监控服务？

1.自己写metrics接口，遵循数据模型

先知道怎么收集你要监控指标
集成官方的客户端或者自己数据格式，暴露出来。

2.使用社区维护的exporter(采集器，以数据模型暴露metrics接口)
在这里插入图片描述

部署Grafana对数据可视化

Grafana是一个开源的度量分析和可视化系统。

部署文档：
https://grafana.com/grafana/download

访问地址：
http://IP:3000

用户名/密码：admin/admin

在这里插入图片描述
wget方式下载二进制包太慢，可以直接在浏览器上输入下载地址，翻墙下载。会快很多…

配置为系统服务管理：
vi /usr/lib/systemd/system/grafana.service

[Unit]
Description=grafana

[Service]
ExecStart=/opt/monitor/grafana/bin/grafana-server -homepath=/opt/monitor/grafana

ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure

[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl start grafana
systemctl enable grafana

在这里插入图片描述

第一次需要重置密码

监控Linux服务器

node_exporter：用于监控Linux系统的指标采集器。
常用指标：
• CPU
• 内存
• 硬盘
• 网络流量
• 文件描述符
• 系统负载
• 系统服务

数据接口：
http://IP:9100

使用文档：https://prometheus.io/docs/guides/node-exporter/
GitHub：https://github.com/prometheus/node_exporter

在这里插入图片描述

https://prometheus.io/docs/instrumenting/exporters

node_exporter配置为系统服务管理systemd

配置为系统服务管理：
vi /usr/lib/systemd/system/node_exporter.service

[Unit]
Description=node_exporter

[Service]
ExecStart=/usr/local/node_exporter/node_exporter -web.config=/usr/local/node_exporter/config.yml
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure

[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl start node_exporter
systemctl enable node_exporter

访问地址：

http://192.168.220.102:9100/metrics

配置prometheus.yml文件

在这里插入图片描述
检查配置是否正确

./promtool check config ./prometheus.yml

在这里插入图片描述

热加载配置文件

在这里插入图片描述

在这里插入图片描述
grafana监控

加入仪表盘

在这里插入图片描述
推荐id 9276
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
加第二台服务器
在这里插入图片描述

暴露的指标接口启用HTTP认证

启用HTTP认证：

vi config.yml

basic_auth_users:
prometheus: $2y$12$RC4HOCkmmupzZfgdL56XUu0zZ1sdEV be3J4NS17nybLFt54hzWO7G

#用户名: 密码
上面密码用下面命令生成：
yum install httpd-tools –y
htpasswd -nBC 12 '' | tr -d ':\n'

在指定目录创建config.yml文件，并重启exporter
在这里插入图片描述
浏览器basic认证
在这里插入图片描述

prometheus server 配置exporters的username和password
在这里插入图片描述
验证配置文件是否配置正确,可以热加载配置，也可以重启prometheus服务
在这里插入图片描述

监控系统服务运行状态

到exporter服务器上的指定路径上加入如下配置，并重启node_exporter服务：

/usr/local/node_exporter/node_exporter --web.config=/usr/local/node_exporter/config.yml -collector.systemd --collector.systemd.unit-whitelist=(docker|sshd|nginx).service

在这里插入图片描述
加入配置后执行如下命令重启node_exporter

systemctl daemon-reload
systemctl start node_exporter

在这里插入图片描述

监控Docker服务器

cAdvisor （Container Advisor） ：用于收集正在运行的容器资源使用和性能信息。

项目地址：https://github.com/google/cadvisor
Docker部署cAdvisor：
docker run -d \
--volume=/:/rootfs:ro \
--volume=/var/run:/var/run:ro \
--volume=/sys:/sys:ro \
--volume=/var/lib/docker/:/var/lib/docker:ro \
--volume=/dev/disk/:/dev/disk:ro \
--publish=8080:8080 \
--detach=true \
--name=cadvisor \
google/cadvisor:latest

在这里插入图片描述

访问地址

http://192.168.220.103:8080/containers/

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

再运行一个容器看看能不能采集到

在这里插入图片描述
等待一会

在这里插入图片描述
这个只能展示一台服务器上的docker运行情况

在Prometheus server上加上另外一台服务器的ip,并在另外一台服务器上也启动一个容器

在这里插入图片描述
修改配置文件，后面会加到如何实现配置的热加载。
在这里插入图片描述
创建一个Dashboard
在这里插入图片描述

在这里插入图片描述

label_values(up,instance)
选出处于up状态的服务

在这里插入图片描述

点击update
在这里插入图片描述

点击Save
在这里插入图片描述
服务过多，筛选掉没有Docker服务的服务
在这里插入图片描述
加入正则表达式

.*:8080

在这里插入图片描述

如图筛选出了有Docker服务的服务器
在这里插入图片描述

上面显示的是所有服务器的容器的状态，调节显示每台服务器容器的状态
在这里插入图片描述

监控MySQL服务器

mysql_exporter：用于收集MySQL性能信息。监听端口：9104
项目地址：https://github.com/prometheus/mysqld_exporter

#docker run -d --name db -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7
#docker exec -it db bash

mysql -uroot -p123456
mysql> grant PROCESS, REPLICATION CLIENT, SELECT ON *.* to 'exporter'@'%' identified by '123456';

#vi .my.cnf
[client]
user=exporter
password=123456
#./mysqld_exporter --config.my-cnf=.my.cnf

下载容器并运行
在这里插入图片描述

进入容器、进入mysql、授权

在这里插入图片描述

下载mysql exporter二进制包并解压，移到/usr/local/mysqld_exporter包下：
在这里插入图片描述
创建my.cnf文件，配置用户名和密码
在这里插入图片描述
启动mysql exporter,并指定配置文件，连接mysql
在这里插入图片描述

查看是否启动成功，暴露端口是否成功
在这里插入图片描述

配置热加载功能

编辑prometheus系统服务配置文件
在这里插入图片描述

开启配置热加载功能
在这里插入图片描述

原先的值
在这里插入图片描述
修改的值
在这里插入图片描述

调用接口实现配置热加载
在这里插入图片描述

配置文件更新成最新的值
在这里插入图片描述

dbservers服务监控也加进来了
在这里插入图片描述

按照之前的配置导入mysql监控的仪表盘

推荐仪表盘ID：7362

在这里插入图片描述
输入ID，点击load。
在这里插入图片描述

输入name,选择数据源，点击import。
在这里插入图片描述

MySQL监控
在这里插入图片描述
选择时间，看到最新的数据
在这里插入图片描述
接下来会将Prometheus自动化监控、PromQL的基本使用、监控指标标签管理、报警神器AlertManager、Grafana可视化（自制仪表盘等）。

Eistert
关注
专栏目录
Java架构学习笔记Xmind图.zip
12-31
17. **监控与日志**：Prometheus、Grafana进行性能监控，ELK(Elasticsearch、Logstash、Kibana)堆栈处理日志分析。 这些知识点只是Java架构学习的一部分，实际的Xmind图可能还涵盖了其他主题，如设计模式、性能优化...
Prometheus项目实战——Prometheus+Grafana+MySQL主从复制
小柏ぁ的博客
02-22 1272
目录 环境 主从服务部署 主从服务器时间同步 master服务器同步阿里云时钟服务器 编译安装MySQL 配置主从同步 master服务器修改配置文件 从服务器配置 ​ 主从复制节点授权exporter 配置mysqld 主从复制的指标暴露器（主从服务器） ...
prometues监控及常用组件
羽帝的博客
08-04 1707
文章目录一、prometues部署tar包安装下载安装prometues配置启动脚本启动二、prometues的插件安装与使用1. prometues的插件之pushgateway下载pushgateway设置启动脚本配置和使用三、grafana安装配置下载访问修改密码使用配图 一、prometues部署 tar包安装 下载安装 prometues官网：https://prometheus.io/download/ [root@VM-7-201-centos ~]# wget https://githu
企业专用版 prometheus+grafana监控
weixin_48190863的博客
04-05 1万+
一、Prometheus介绍 1.1 Prometheus概述 Prometheus（普罗米修斯）是一个最初在SoundCloud上构建的监控系统。自2012年成为社区开源项目， 拥有非常活跃的开发人员和用户社区。为强调开源及独立维护，Prometheus于2016年加入云原生云计算基金会（CNCF），成为继Kubernetes之后的第二个托管项目；原生支持K8s和docker。 https://prometheus.io https://github.com/prometheus 1.2 Prometh
Prometheus认证访问-grafana配置-安装mysql和redis的节点监控
privateobject的博客
08-17 1578
> Prometheus 对其安全模型做了修改 ， 后续其他的组件，都将支持 TLS 和 basic auth， 同时也列出了最新的安全基准（默认情况下都支持 TLS v1.2 及以上） > htpasswd建立和更新存储用户名、密码的文本文件， 用于对HTTP用户的basic认证 > mysql_exporter是用来收集MysQL或者Mariadb数据库相关指标的，mysql_exporter需要连接到数据库并有相关权限。 > Prometheus也可以用redis_exporter来监控Redis。.
prometheus 监控mysql_Prometheus 监控MySQL
weixin_39852491的博客
01-19 657
0、简介文中主要监控MySQL/MySQL主从信息版本：mysql-5.7，mysql_exporter-0.12.11、mysql_exporter部署1.下载mysql_exporter并解压$ tar xf /opt/src/mysqld_exporter-0.12.1.linux-amd64.tar.gz// 将mysql_exporter二进制文件拷贝至/usr/local/bin$ c...
Java分布式应用学习笔记
09-14
Java分布式应用学习笔记 在Java世界中，分布式应用是指由多个独立组件通过网络通信协同工作的系统。这种架构模式常用于构建大规模、高可用性、可扩展的系统。本笔记将深入探讨Java分布式应用的核心概念、技术和实践...
Rancher企业级Kubernetes管理平台 v2.7.6.zip
10-03
5. 监控与日志：Rancher集成了Prometheus和Grafana等监控工具，可以实时监控集群性能，同时提供了统一的日志收集和查询功能，方便故障排查。 6. 自动化运维：Rancher支持自动更新和回滚，以及自动化故障转移，确保...
构建JAVA大型分布式电商项目实战高并发集群分布式系统架构PDF+视频.rar
07-26
- 监控工具（如Prometheus、Grafana）实时监控系统性能指标。 10. **持续集成/持续部署(CI/CD)** - Jenkins、GitLab CI/CD等工具实现自动化测试、构建和部署，加速软件交付流程。 通过本教程的学习，开发者将...
springboot133在线课程管理系统.zip
最新发布
05-26
6. 运维监控：使用如Prometheus、Grafana等工具进行性能监控和报警。 五、优化与扩展 随着系统的发展，可能需要考虑以下优化和扩展： 1. 引入微服务架构，将系统拆分为更小的、独立的服务，提高可维护性和可扩展...
Prometheus监控MySQL & Grafana部署
啊啊啊啊建的博客
10-30 850
Prometheus监控MySQL & Grafana部署
管理mysql数据库常用方式_MySQL管理_数据库常用命令
weixin_32142107的博客
02-05 135
1.数据库赋权进入mysql数据库：mysql>use mysql;给root用户设置新密码：mysql> update user set password=password("新密码") where user="root";刷新数据库mysql>flush privileges;nagios监控mysql> GRANT PROCESS, REPLICATION CLIEN...
Prometheus监听MySQL（Windows版本）
你个胖纸的日常
11-24 816
简单的搭建windows系统下的prometheus，监控linux服务器中的mysql
服务监控（六）之Prometheus接入mysqld_exporter使用Grafana监控MySQL
一掬净土
07-21 3120
需准备的前置内容： 1、Prometheus安装配置 直通车：https://blog.csdn.net/wdy_2099/article/details/124204720 2、Grafana安装配置 直通车：https://blog.csdn.net/wdy_2099/article/details/124211397 使用Prometheus监控MySQL需要用到mysqld_exporter 要求： Prometheus exporter for MySQL server metrics. Supp
prometheus JVM8563模块自定义显示
云深海阔专栏
02-25 119
2、配置name和IP对应关系，通过刷选服务名称自动匹配到我们的IP加端口。要求job名称和我们配置文件里面填的一样，要不然获取不到jvm数据。3、最后我们可以在页面根据我们的服务来选择自己的IP对应的实例。2）先创建servername。3）创建instance参数。1）点击右上角自定义。
mysql主从+grafana+Prometheus
y1035793317的博客
12-11 1173
目录 一、主从复制部署（数据库已经安装好） 主从复制 主服务器授权 上传mysqld_exporter,配置mysqld 主从复制的指标暴露器 进入目录，创建配置文件（主从） 配置 mysql 服务器指标暴露器（主从） 二、Prometheus + Grafana 部署 部署 prometheus 修改配置文件 启动 prometheus 登录查看 部署 grafana-server 一、主从复制部署（数据库已经安装好） 主从复制 #主从服务器配置 yum install n
监控MySQL时用户授权
******* ▄︻┻┳═一 *******
05-09 2455
在我们监控MySQL的时候，需要连接到MySQL数据库，但是在进行用户授权的时候，要遵循权限最小化的原则，分配最简单够用的权限即可，下面是我给生产MySQL的监控用户授权。 mysql> grant select,process,replication client on *.* to monitor@'10.47.61.142' identified by 'xxxxxxxxx'; mysql>
prometheus配置详解
mnasd的博客
01-16 9604
prometheus
彻底理解Prometheus查询语法
热门推荐
一个技术菜鸟的博客
04-28 7万+
写在前面 主要参考：https://github.com/yunlzheng/prometheus-book 本文档主要分为两部分，分别讲解PromQL和Grafana的基础使用，在阅读PromQL部分时，建议不要联想Grafana中要怎么使用这些查询表达式，又是怎么根据查询结果绘图的，因为PromQL对于Grafana来说和SQL并没有区别，都是查询出结果，然后根据各种指定配置进行绘图，所以阅读......
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值