mysql latency timer_MySQL日常监控及sys库的使用【转】

最新推荐文章于 2021-11-16 22:45:19 发布
最新推荐文章于 2021-11-16 22:45:19 发布
阅读量330 收藏
点赞数
文章标签： mysql latency timer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39631755/article/details/113417985
版权

一、统计信息(SQL维度)

关于SQL维度的统计信息主要集中在events_statements_summary_by_digest表中，通过将SQL语句抽象出digest，可以统计某类SQL语句在各个维度的统计信息(比如：执行次数，排序次数，使用临时表等)

1、执行次数最多的SQL

SELECT

DIGEST_TEXT,

COUNT_STAR,

FIRST_SEEN,

LAST_SEEN

FROM

`performance_schema`.events_statements_summary_by_digest

ORDER BY

COUNT_STAR DESC;

2d376bcdc3098329f3e051f26459d3ed.png

可以看到执行次数最多的SQL是INSERT INTO `t_ocs_group_production_temporary` VALUES (...) ，FIRST_SEEN和LAST_SEEN分别显示了语句第一次执行和最后一次执行的时间点。

2、平均响应时间最多的sql

SELECT

DIGEST_TEXT,

AVG_TIMER_WAIT,

COUNT_STAR,

FIRST_SEEN,

LAST_SEEN

FROM

`performance_schema`.events_statements_summary_by_digest

ORDER BY

AVG_TIMER_WAIT DESC;

6e27255d03df4bf0b0fd6e4bcfaf4493.png

可以看到平均响应时间最长的sql是SELECT * FROM `lcp_mq_record` ，这个是一张日志表。

3、排序记录数最多的sql

SELECT

DIGEST_TEXT,

SUM_SORT_ROWS,

COUNT_STAR,

FIRST_SEEN,

LAST_SEEN

FROM

`performance_schema`.events_statements_summary_by_digest

ORDER BY

SUM_SORT_ROWS DESC;

22f7782429219609aff6b232a149b170.png

4、扫描记录数最多的sql

SELECT

DIGEST_TEXT,

SUM_ROWS_EXAMINED,

COUNT_STAR,

FIRST_SEEN,

LAST_SEEN

FROM

`performance_schema`.events_statements_summary_by_digest

ORDER BY

SUM_ROWS_EXAMINED DESC;

32ab3feddb67df4bad166c77c46c64d0.png

5、使用临时表最多的sql

SELECT

DIGEST_TEXT,

SUM_CREATED_TMP_TABLES,

SUM_CREATED_TMP_DISK_TABLES,

COUNT_STAR,

FIRST_SEEN,

LAST_SEEN

FROM

`performance_schema`.events_statements_summary_by_digest

ORDER BY

SUM_CREATED_TMP_TABLES desc,SUM_CREATED_TMP_DISK_TABLES desc

60d5d88cb07646a620e5248aeda7320d.png

6、返回结果集最多的SQL

SELECT

DIGEST_TEXT,

SUM_ROWS_SENT,

COUNT_STAR,

FIRST_SEEN,

LAST_SEEN

FROM

`performance_schema`.events_statements_summary_by_digest

ORDER BY

SUM_ROWS_SENT desc;

0c6966c235febe4e4ee8fffc71c07654.png

通过上述指标我们可以间接获得某类SQL的逻辑IO(SUM_ROWS_EXAMINED)，CPU消耗(SUM_SORT_ROWS)，网络带宽(SUM_ROWS_SENT)的对比，但还无法得到某类SQL的物理IO消耗，以及某类SQL访问数据的buffer命中率。

二、统计信息(对象维度)

1、哪个表物理IO最多？

SELECT

file_name,

event_name,

SUM_NUMBER_OF_BYTES_READ,

SUM_NUMBER_OF_BYTES_WRITE

FROM

`performance_schema`.file_summary_by_instance

ORDER BY

SUM_NUMBER_OF_BYTES_READ + SUM_NUMBER_OF_BYTES_WRITE DESC;

c7d19186efa3dfa8276d9c6c6eb5c384.png

通过file_summary_by_instance表，可以获得系统运行到现在，哪个文件(表)物理IO最多，这可能意味着这个表经常需要访问磁盘IO，从结果来看perf_stat库里面的is_global_variables的数据文件访问最多。

2、哪个表逻辑IO最多?

SELECT

object_schema,

object_name,

COUNT_READ,

COUNT_WRITE,

COUNT_FETCH,

SUM_TIMER_WAIT

FROM

`performance_schema`.table_io_waits_summary_by_table

ORDER BY

sum_timer_wait DESC;

de80e586a380ebabd583daaf091c2bf7.png

通过table_io_waits_summary_by_table表，可以获得系统运行到现在，哪个表逻辑IO最多，亦即最“热”的表，从结果来看fsl_prod库里面的t_ocs_employee_attendace表访问次数最多。

3、哪个索引访问最多？

SELECT

OBJECT_SCHEMA,

OBJECT_NAME,

INDEX_NAME,

COUNT_FETCH,

COUNT_INSERT,

COUNT_UPDATE,

COUNT_DELETE

FROM

`performance_schema`.table_io_waits_summary_by_index_usage

ORDER BY

SUM_TIMER_WAIT DESC;

236cf02c4a39a75c393f3048210e0b55.png

通过table_io_waits_summary_by_index_usage表，可以获得系统运行到现在，哪个表的具体哪个索引(包括主键索引，二级索引)使用最多，从结果来看，我们知道t_ocs_employee_attendace表访问最多，并且都是通过t_ocs_production_lines_n1索引访问。

4、哪个索引从来没有使用过？

SELECT

OBJECT_SCHEMA,

OBJECT_NAME,

INDEX_NAME

FROM

`performance_schema`.table_io_waits_summary_by_index_usage

WHERE

INDEX_NAME IS NOT NULL

AND COUNT_STAR = 0

AND OBJECT_SCHEMA <> 'mysql'

ORDER BY

OBJECT_SCHEMA,

OBJECT_NAME;

c3dcd9b5e6402b404ff69985c2c6a0da.png

通过table_io_waits_summary_by_index_usage表，我们还可以获得系统运行到现在，哪些索引从来没有被用过。由于索引也会占用大量的空间，我们可以利用这个统计信息，结合一定的时间策略将无用的索引删除。上面的结果显示，fsl_prod库act_hi_actinst表的ACT_IDX_HI_ACT_INST_END索引从来没有被使用过。

三、统计信息(等待事件维度)

1、哪个等待事件消耗的时间最多？

SELECT

EVENT_NAME,

COUNT_STAR,

SUM_TIMER_WAIT,

AVG_TIMER_WAIT

FROM

`performance_schema`.events_waits_summary_global_by_event_name

WHERE

event_name != 'idle'

ORDER BY

SUM_TIMER_WAIT DESC;

4a62e558bed10f4166988a7e901f7f5b.png

通过events_waits_summary_global_by_event_name表，可以获取到系统运行到现在，消耗时间最多的事件，当然还可以根据其它维度排序，比如平均等待时间，从结果来看wait/io/table/sql/handler这个事件消耗的累计时间最长。

概述

MySQL5.7的新特性中，非常突出的特性之一就是sys库，不仅可以通过sys库完成MySQL信息的收集，还可以用来监控和排查问题。下面介绍一些常用的用法。

一、用户、连接类

1、查看每个客户端IP过来的连接消耗资源情况。

select * from sys.host_summary;

45f8a244d0d15b6dc0dfe88848bcaa2c.png

2、查看每个用户消耗资源情况

select * from sys.user_summary;

bc52e21dd15e9cc7546b0ac708ce563c.png

3、查看当前连接情况(有多少连接就应该有多少行)

select host,current_connections,statements from sys.host_summary;

b92716b9deb6d1c98913a59c6707cafb.png

4、查看当前正在执行的SQL

和执行show full processlist的结果差不多

select conn_id,pid,user,db,command,current_statement,last_statement,time,lock_latency from sys.session

e1af79cc795404905cc13e5b052182f8.png

二、SQL 和io类

1、查看发生IO请求前5名的文件。

select * from sys.io_global_by_file_by_bytes order by total limit 5;

fc8ea40d2cf8f32e18829322274cd471.png

三、buffer pool 、内存

1、查看总共分配了多少内存

select * from sys.memory_global_total;

select * from sys.memory_global_by_current_bytes;

d49e0118ffc32ee72e35f9778dd53a9d.png

2、每个库(database)占用多少buffer pool

select * from sys.innodb_buffer_stats_by_schema order by allocated desc;

2c8fc8530a379c7b211276cbac3030e5.png

pages是指在buffer pool中的page数量；pages_old指在LUR 列表中处于后37%位置的page。

当出现buffer page不够用时，就会征用这些page所占的空间。37%是默认位置，具体可以自定义。

3、统计每张表具体在InnoDB中具体的情况，比如占多少页？

注意和前面的pages的总数都是相等的，也可以借用sum(pages)运算验证一下。

select * from sys.innodb_buffer_stats_by_table;

bed5b0ff96944b4d187fba5ed187e31d.png

4、查询每个连接分配了多少内存

利用session表和memory_by_thread_by_current_bytes分配表进行关联查询。

SELECT

b.USER,

current_count_used,

current_allocated,

current_avg_alloc,

current_max_alloc,

total_allocated,

current_statement

FROM

sys.memory_by_thread_by_current_bytes a,

sys.SESSION b

WHERE

a.thread_id = b.thd_id;

520eb8a8b2c9e79de59249b7c288e157.png

四、字段、索引、锁

1、查看表自增字段最大值和当前值，有时候做数据增长的监控，可以作为参考。

select * from sys.schema_auto_increment_columns;

fe28371cba1562a30cf1d6069a76ecd1.png

2、MySQL索引使用情况统计

select * from sys.schema_index_statistics order by rows_selected desc;

547fc934f1ca3fe372d07c47034eef51.png

3、MySQL中有哪些冗余索引和无用索引

若库中展示没有冗余索引，则没有数据；当有联合索引idx_abc(a,b,c)和idx_a(a)，那么idx_a就算冗余索引了。

select * from sys.schema_redundant_indexes;

3f137cebf5b543564f0a2b0abb6a2df2.png

4、查看INNODB 锁信息

在未来的版本将被移除，可以采用其他方式

select * from sys.innodb_lock_waits

ea0090bccdf7e8f0287a7ad79775ff0e.png

5、查看库级别的锁信息，这个需要先打开MDL锁的监控：

--打开MDL锁监控

update performance_schema.setup_instruments set enabled='YES',TIMED='YES' where name='wait/lock/metadata/sql/mdl';

select * from sys.schema_table_lock_waits;

681eb5afeaa543337723f937d9513a4e.png

五、线程类

1、MySQL内部有多个线程在运行，线程类型及数量

select user,count(*) from sys.`processlist` group by user;

a38683a3029ff9d0e71474c92d95c287.png

六、主键自增

查看MySQL自增id的使用情况

SELECT

table_schema,

table_name,

ENGINE,

Auto_increment

FROM

information_schema.TABLES

WHERE

TABLE_SCHEMA NOT IN ( "INFORMATION_SCHEMA", "PERFORMANCE_SCHEMA", "MYSQL", "SYS" )

f3939a5d0bf03b261cace0e76945dc47.png

mysql DBA日常监控--统计SQL信息+统计对象+统计等待事件

https://www.toutiao.com/i6733922916485825035/

一文看懂mysql sys库常见用法--实现数据库信息的收集及监控

https://www.toutiao.com/i6733911133750559245/

weixin_39631755
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql数据库-监控指标名词
yang_zzu的博客
10-31 475
QPS就是说，你的这个数据库每秒可以处理多少个请求，你大致可以理解为，一次请求 就是一条SQL语句，也就是说这个数据库每秒可以处理多少个SQL语句 TPS往往指的是一个数据库每秒里有多少个事务执行完毕了，事务提交或者回滚都算是事务执行完毕了，所以TPS衡量的是一个数据库每秒处理完的事务的数量 IOPS：这个指的是机器的随机IO并发处理的能力，比如机器可以达到200 IOPS，意思就是说每秒可以执行200个随机IO读写请求。 吞吐量：这个指的是机器的磁盘存储每秒可以读写多少字节的..
latency_timer值对usb转串口设备的卡顿、延时性能的影响
bluewhalerobot的博客
03-22 5272
原链接对于usb转串口设备，它硬件上一般有一个叫做latency_timer的定时器，当这个值设为lt时，表示数据会在设备上至少暂存lt 毫秒后再发送，只有在设备缓存写满的情况下才会忽略这个值而立即发送。latency_timer的取值范围一般为1到255之间，一般由设备驱动设置默认值。 ftdi芯片的串口设备，一般默认值会是16毫秒，这在高实时性的场景是无法忍受的，具体详情请阅读这篇帖子解决办法
MySQL 性能监控4大指标——第一部分
bujidexinq的专栏
03-05 723
【编者按】本文作者为 John Matson，主要介绍mysql性能监控应该关注的4大指标。 第一部分将详细介绍前两个指标： 查询吞吐量与查询执行性能。文章系国内ITOM管理平台OneAPM编译呈现。 MySQL 是什么？ MySQL是现而今最流行的开源关系型数据库服务器。由Oracle所有，MySQL 提供了可以免费下载的社区版及包含更多特性与支持的商业版。从1995年首发...
mysql hibernate在把hql转为sql的时候,把or两边的括号去掉的问题
qq769298218的博客
09-14 923
语句1 select * from credit_operation_log creditoper0_ where creditoper0_.subject_id='1111' and (creditoper0_.credit_contract_id in ('2222')) or creditoper0_.customer_id='3333' and (creditoper0_.credit_contract_id is null) order by creditoper0_.create_time .
MySQL系统SYS数据库——各类统计视图整理
发现问题，面对问题，分析问题，解决问题，总结问题
11-16 3941
查看表的统计信息，默认情况下按照增删改查操作的总表I/O延迟时间（执行时间，即也可以理解为是存在最多表I/O争用的表）降序排序 查看不活跃的索引（没有任何事件发生的索引，这表示该索引从未使用过），默认情况下按照schema名称和表名进行排序 查看表的统计信息，默认情况下按照增删改查操作的总表I/O延迟时间（执行时间，即也可以理解为是存在最多表I/O争用的表）降序排序 查看不活跃的索引（没有任何事件发生的索引，这表示该索引从未使用过），默认情况下按照schema名称和表名进行排序
WALT Latency Timer_v0.1.9_apkpure.com.apk
06-17
音频延时的手机app
Leatrix_Latency_Fix_3.03_macroman.enc_FIX_Leatrix_Latency_Fix_la
09-30
"Leatrix Latency Fix 3.03 macroman.enc FIX Leatrix_Latency_Fix_la" 是一款针对Mac用户的延迟修复工具，旨在帮助用户优化网络环境，降低游戏中的延迟问题，从而实现更流畅的游戏体验。 "Leatrix Latency Fix ...
mysql知识分享及SQL优化
05-26
performance_schema 数据库是 MySQL 服务器的一个性能监控，主要保存 MySQL 服务器运行过程中的状态信息，包括统计最近执行了哪些语句，在执行过程的每个阶段都花费了多长时间，内存的使用情况等等信息。 ...
mysql 5.7新特性
最新发布
09-16
MySQL 5.7 引入了 sys 库，提供了一些有用的系统信息表，例如 sys_config、sys_host_summary、sys_host_summary_by_file_io、sys_host_summary_by_file_io_type、sys_host_summary_by_stages、sys_host_summary_by_...
udp_client.rar_UDP Client_latency_udp client_udp_client_udp客户端
09-22
标题中的"udp_client.rar_UDP Client_latency_udp client_udp_client_udp客户端"提到了几个关键点：UDP客户端、延迟（latency）和程序的实现。这表明我们讨论的是一个用于测量网络延迟的UDP客户端程序。UDP客户端...
MySQL 优化
剑心！的博客
04-11 287
关系数据库作为生产环境中的OLTP，承载着重要的使命，说它是整个业务系统的最重要的部分都不为过。由于MySQL的性能问题是一个全方位立体的问题，上到整个业务系统的架构，读写节点的拓扑，节流策略的设置，业务侧分库分表，下到表的关系建立，表结构设计，SQL语句优化，MySQL服务器的参数调优，实时的监控MySQL的指标并反馈等等。 我们只有确定了问题很可能出在哪里，然后采取对应的措施才可能解决。但是一...
mysql 大量 time wait_mysql出现大量的TIME_WAIT解决办法
weixin_34026053的博客
01-19 1616
如果你的mysql出现大量的TIME_WAIT，最可能的原因是mysql.colse()，才导致大量的mysql TIME_WAIT 哦，有了原因解决办法很简单1、找到有问题的程序加入 mysql.colse()即可解决了。2、直接修改mysql配置，设置TIME_WAIT时间不超过5秒即可linux系统中修改方法代码如下vi /etc/sysctl.conf编辑文件，加入以下内容：代码如下ne...
MySQL 压缩二进制日志
老叶茶馆
05-10 154
原文：https://mysql.wisborg.dk/2020/05/07/mysql-compressed-binary-logs/作者：Jesper Krogh译者：孟维克配置限制...
mysql:性能调优
wangdamingll的博客
08-11 409
mysql性能调优 mysql性能调优设计到方方面面，我在这里就抛砖引玉 一、CPU选择 1. 选择标准 OLTP需要IO密集型操作 OLAP是CPU密集型操作。所以为了支持更大内存,最好选择支持64位的多核CPU。 2. 调优方式 可以利用CPU多核特性,增大读写线程的个数. mysql> show variables like 'innodb_%io_threads' ; +-------------------------+-------+ | Variable_name
理解Latency和Throughput
weixin_34187862的博客
04-03 592
2019独角兽企业重金招聘Python工程师标准>>> ...
mysql latency timer_MySql 5.7 中文文档 - 14.17.2 使用性能模式监视 InnoDB Mutexawait | Docs4dev...
weixin_29765215的博客
01-27 138
互斥锁是代码中使用的一种同步机制，用于强制在给定时间只有一个线程可以访问公共资源。当服务器中执行的两个或更多线程需要访问同一资源时，这些线程会相互竞争。在互斥锁上获得锁的第一个线程导致其他线程 await，直到锁被释放。对于已检测的InnoDB个互斥锁，可以使用Performance Schema监视互斥锁 await。例如，性能模式 table 中收集的 await 事件数据可以帮助识别 awa...
如何理解Latency和Throughput: 吞吐量和延迟
weixin_30552811的博客
01-27 1740
Latency，中文译作延迟。Throughput，中文译作吞吐量。它们是衡量软件系统的最常见的两个指标。 延迟一般包括单向延迟（One-way Latency）和往返延迟（Round Trip Latency），实际测量时一般取往返延迟。它的单位一般是ms、s、min、h等。 而吞吐量一般指相当一段时间内测量出来的系统单位时间处理的任务数或事务数（TPS）。注意“相当一段时...
Mysql 优化——分析表读写和sql效率问题
Thancks
06-01 3251
上次我们说到mysql的一些sql查询方面的优化，包括查看explain执行计划，分析索引等等。 今天我们分享一些 分析mysql表读写、索引等等操作的sql语句。闲话不多说，直接上代码：-- 反映表的读写压力 SELECT file_name AS file, count_read, sum_number_of_bytes_read AS total_read,
如何判断mysql主从延迟_如何检查MySQL数据库的主从延时？
weixin_29793001的博客
01-18 1051
展开全部使用 bcc 工具62616964757a686964616fe58685e5aeb931333433646363观测 MySQL：1)dbstat功能：将 MySQL/PostgreSQL 的查询延迟汇总为直方图语法：dbstat [-h] [-v] [-p [PID [PID ...]]] [-m THRESHOLD] [-u] [-i INTERVAL] {...
apollo #ifdef LATENCY_CHAIN_SUPPORT
08-24
在提供的引用中，没有与"apollo" 和 "#ifdef LATENCY_CHAIN_SUPPORT" 相关的信息。请提供更多详细信息或者提问其他相关问题，我将尽力回答。<span class="em">1</span><span class="em">2</span><span class="em">3 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值