Prometheus 的云上 MySQL 监控实践_mysql_global_status_slow_queries

最新推荐文章于 2024-05-26 18:46:20 发布

2401_84301227

最新推荐文章于 2024-05-26 18:46:20 发布

阅读量943

点赞数 26

分类专栏： 2024年程序员学习文章标签： prometheus mysql 数据库

本文链接：https://blog.csdn.net/2401_84301227/article/details/137880740

版权

2024年程序员学习专栏收录该内容

41 篇文章 0 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）

正文

方案不足：导出器可实现单节点和主从复制相关监控项，但对于MGR模式相关监控目前还不能很好地支持。

方案改进：prometheus提供了client libraries，可实现对监控指标进行定制化采集。故可用python语言定制脚本的方式采集MGR相关数据。mysqld_exporter与python脚本能够满足全部监控信息的导出。

2、部署方案

关于Paas云上MySQL监控部署，有两种方案：

方案一：
在这里插入图片描述
MySQL、mysqld_exporter、my_exporter_python监控脚本三部分同在一个镜像中，运行该容器可实现对MySQL的监控。
方案二：

MySQL、mysqld_exporter、my_exporter_python监控脚本分别属于不同的镜像，MySQL主容器与监控容器按顺序运行。监控容器以sidecar的方式访问MySQL。

方案对比：

MySQL数据库服务对于应用是非常重要的一环，要确保MySQL安全可靠。方案一，如果MySQL异常或出现错误，对问题诊断与排错方面，监控导出器可能会干扰项，不利于后期MySQL运维管理。方案二，由于三部分在不同的容器中运行，不会产生互相干扰的可能性，因此方案二为最佳。

五、监控具体实现

1、创建MySQL监控用户并授权
在这里插入图片描述
2、my_exporter_python脚本说明

9000端口提供http提供服务

start_http_server(9000)

设置Gauge对象
在这里插入图片描述
连接接MySQL查询数据

设置MGR相关的metrics

3、镜像拉取与定制

mysqld_exporter镜像pull：

docker pull prom/mysqld_exporter

my_exporter_python镜像制作

Dockerfile内容

FROM centos7_python36:v1

RUN pip install prometheus_client pymysql

RUN pip install requests

COPY ./my_exporter_python_v2.py /my_exporter_python_v2.py

WORKDIR /

EXPOSE 9000

CMD [“python”,“my_exporter_python_v2.py”]

4、镜像部署yaml文件部分内容：

apiVersion: apps/v1
kind: StatefulSet
metadata:
…
containers:

env:
name: TZ
value: Asia/Shanghai
name: DATA_SOURCE_NAME
value: ‘exporter:userpassword@(localhost:3306)/’
name: TARGET
value: ‘http://localhost:9104/metrics’
image: ‘registry.paas.test.abc/library/mysqld-exporter-python:v5’
imagePullPolicy: Always
name: mysqld-python
ports:
containerPort: 9000
name: mysqld-python
protocol: TCP
resources:
limits:
cpu: ‘2’
memory: 4Gi
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
env:
name: TZ
value: Asia/Shanghai
name: DATA_SOURCE_NAME
value: ‘testuser:userpassword@(localhost:3306)/’
image: ‘registry.paas.test.abc/library/mysqld-exporter:latest’
imagePullPolicy: Always
name: mysqld-exporter
ports:
containerPort: 9104
name: mysqld-exporter
protocol: TCP
resources:
limits:
cpu: ‘2’
memory: 4Gi
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
…

5、Prometehus server设置target

job_name: kubernetes-pods
scrape_interval: 30s
scrape_timeout: 10s
metrics_path: /metrics
scheme: http
kubernetes_sd_configs:
api_server: null
role: pod
namespaces:
names: []
relabel_configs:
source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
separator: ;
regex: “true”
replacement: $1
action: keep
source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]
separator: ;
regex: (.+)
target_label: metrics_path
replacement: $1
action: replace
source_labels: [address, __meta_kubernetes_pod_annotation_prometheus_io_port]
separator: ;
regex: ([^:]+)(?::\d+)?😭\d+)
target_label: address
replacement: $1:$2
action: replace
separator: ;
regex: __meta_kubernetes_pod_label_(.+)
replacement: $1
action: labelmap
source_labels: [__meta_kubernetes_namespace]
separator: ;
regex: (.*)
target_label: kubernetes_namespace
replacement: $1
action: replace
source_labels: [__meta_kubernetes_pod_name]
separator: ;
regex: (.*)
target_label: kubernetes_pod_name
replacement: $1
action: replace

六、采集指标解释

查询mysql上线时间

mysql> show status like ‘%uptime%’;
±--------------------------±--------+
| Variable_name | Value |
±--------------------------±--------+
| Uptime | 1284686 |
| Uptime_since_flush_status | 1284686 |
±--------------------------±--------+

Uptime即为mysql上线时间，单位为秒，对应输出的监控指标为：Mysql_uptime。可以对监控指标运算得到相应时间单位，例如转为天数，mysql_uptime/60/60/24。

查询mysql服务端口mysql

mysql> show variables like ‘port’;
±--------------±------+
| Variable_name | Value |
±--------------±------+
| port | 3306 |
±--------------±------+

对应输出监控指标为：mysql_global_variables_port

查看mysql服务器是否在线

如果mysqld_exporter连接mysql服务器成功，表示服务器在线，否则表示离线状态，对应输出的监指标：mysql_up。数值为1表示在线，数值0表示离线。

查看数据库连接数

mysql> show status like ‘Threads%’;
±------------------±------+
| Variable_name | Value |
±------------------±------+
| Threads_cached | 2 |
| Threads_connected | 1 |
| Threads_created | 3 |
| Threads_running | 2 |
±------------------±------+
mysql> show variables like ‘%max_connection%’;
±-----------------------±------+
| Variable_name | Value |
±-----------------------±------+
| max_connections | 151 |
| mysqlx_max_connections | 100 |
±-----------------------±------+
mysql> show global status like ‘max_used_connections’;
±---------------------±------+
| Variable_name | Value |
±---------------------±------+
| Max_used_connections | 3 |
±---------------------±------+

Thread_connected：表示打开的链接数，对应输出的监控指标为：mysql_global_status_threads_connected。

Threads_running：表示激活的连接数，并发数，对应输出的监控指标为：mysql_global_status_threads_running。

max_used_connections：表示当前使用过的最大连接数，对应输出的监控指标为：mysql_global_status_max_used_connections。

max_connections：表示并发执行的最大连接数，对应输出的监控指标为：mysql_global_variables_max_connections。

查看慢查询数量

mysql> show global status like ‘%Slow_queries%’;
±--------------±------+
| Variable_name | Value |
±--------------±------+
| Slow_queries | 0 |
±--------------±------+

对应输出监控指标为：mysql_global_status_slow_queries

此指标为当前慢查询的总数，如果想要更精确的显示慢查询额状态，可以使用promQL，将监控指标显示为每秒慢查询的数量，可以如下所示：irate(mysql_global_status_slow_queries[5m])，显示5分钟内，每秒慢查询的数量。

查询QPS

mysql> show global status like ‘questions’;
±--------------±-------+
| Variable_name | Value |
±--------------±-------+
| Questions | 407158 |
±--------------±-------+

Questions：表示为收到的总请求的次数，对应输出的监控指标为：mysql_global_status_questions。如果想要得到没秒请求的数量，可以如下方法所示：

irate(mysql_global_status_questions[5m])，显示5分钟内每秒请求的数量，即QPS。

查询innodb_buffer_pool命中率

mysql> show global status like ‘innodb_buffer_pool_read%’;
±--------------------------------------±------+
| Variable_name | Value |
±--------------------------------------±------+
| Innodb_buffer_pool_read_ahead_rnd | 0 |
| Innodb_buffer_pool_read_ahead | 0 |
| Innodb_buffer_pool_read_ahead_evicted | 0 |
| Innodb_buffer_pool_read_requests | 19268 |
| Innodb_buffer_pool_reads | 887 |
±--------------------------------------±------+

Innodb_buffer_pool_reads：表示直接从磁盘读的次数，对应输出的监控指标为：

mysql_global_status_innodb_buffer_pool_reads。

Innodb_buffer_pool_read_requests：表示逻辑读的次数，

对应输出的监控指标为：

mysql_global_status_innodb_buffer_pool_read_requests。

计算逻辑读的命中率，公式为：100 - 100 * (mysql_global_status_innodb_buffer_pool_reads/

mysql_global_status_innodb_buffer_pool_read_requests)。

查询打开表的数量

mysql> show global status like ‘open_tables’;
±--------------±------+
| Variable_name | Value |
±--------------±------+
| Open_tables | 371 |
±--------------±------+

对应输出的监控指标为：mysql_global_status_open_tables

查询表缓存命中率

Threads_created：表示创建过的线程数，对应输出的监控指标为：mysql_global_status_threads_created。

Connections：表示试图链接mysql服务器的次数，对应输出的监控指标为：mysql_global_status_connections。

表缓存命中率为：(1-mysql_global_status_threads_created/mysql_global_status_connections)*100 。

查询锁状态

mysql> show global status like ‘table_locks%’;
±----------------------±-------+
| Variable_name | Value |
±----------------------±-------+
| Table_locks_immediate | 156335 |
| Table_locks_waited | 0 |
±----------------------±-------+

Table_locks_immediate：表示行锁总数量，对应输出监控指标为：mysql_global_status_table_locks_immediate，可以计算每秒行锁数量，如：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
| Table_locks_waited | 0 |
±----------------------±-------+

Table_locks_immediate：表示行锁总数量，对应输出监控指标为：mysql_global_status_table_locks_immediate，可以计算每秒行锁数量，如：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）
[外链图片转存中…(img-vPgAu0lM-1713345172838)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84301227

关注

26
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
Prometheus 的云上 MySQL 监控实践_mysql_global_status_slow_queries

方案二，由于三部分在不同的容器中运行，不会产生互相干扰的可能性，因此方案二为最佳。此指标为当前慢查询的总数，如果想要更精确的显示慢查询额状态，可以使用promQL，将监控指标显示为每秒慢查询的数量，可以如下所示：irate(mysql_global_status_slow_queries[5m])，显示5分钟内，每秒慢查询的数量。max_used_connections：表示当前使用过的最大连接数，对应输出的监控指标为：mysql_global_status_max_used_connections。
复制链接

扫一扫