pt-query-digest分析mysql查询日志

[root@hank-yoon log]# pt-query-digest slowq.log

# 200ms user time, 10ms system time, 24.39M rss, 205.12M vsz

# Current date: Thu Dec 17 15:32:04 2015

# Hostname: hank-yoon.com

# Files: slowq.log

# Overall: 8 total, 2 unique, 0.00 QPS, 0.00x concurrency ________________

# Time range: 2015-12-17 05:00:09 to 15:30:01

# Attribute           total     min     max     avg     95%   stddev   median

# ============     ======= ======= ======= ======= ======= ======= =======

# Exec time             15s       1s       7s       2s       7s       2s       1s

# Lock time             1ms     85us   251us   175us   247us     49us   194us

# Rows sent         213.24k       4 213.21k   26.65k 211.82k   70.05k     3.89

# Rows examine       2.40M 213.21k 320.55k 306.93k 312.96k   33.45k 312.96k

# Rows affecte           0       0       0       0       0       0       0

# Bytes sent         19.42M   1.44k   19.41M   2.43M   19.33M   6.39M   1.39k

# Query size         6.46k     768     836   827.50   833.10   25.62   833.10

1、Overall: 8 total   总共查询8条

2、2 unique：   唯一查询数量，对查询条件过滤后，总共有多少个不同的查询，一共有2个

3、Time range: 2015-12-17 05:00:09 to 15:30:01     时间范围，从几点开始到几点的查询

4、total：总计     min：最小   max：最大   avg：平均   95%：将所有值从小到大排列，位于95%的那个数    

    stddev：标准偏差   median：中位数，位置位于中间那个数

5、Exec time：执行时间

6、Lock time：锁时间

7、Rows sent：最后返回给客户端的行数，查询大小

8、Rows affecte：发送改变的行数

9、Rows examine：执行器需要检查的行数大小

10、Query size：查询语句的字符数

# Profile

# Rank Query ID           Response time Calls R/Call V/M   Item

# ==== ================== ============= ===== ====== ===== ===============

#     1 0x50EF20421A671146   7.4117 50.7%     7 1.0588   0.00 SELECT erp_order erp_order_option wms_order_sync jx_region

#     2 0x9B9DD48242D6C02D   7.2176 49.3%     1 7.2176   0.00 SELECT jx_erp_goods_ware

1、Rank：整个分析中语句排名，性能最差的

2、Response time：语句响应时间及整体占比情况

3、Calls：执行次数

4、R/Call：每次执行的平均响应时间

5、V/M：响应时间的差异平均对比率

# Query 1: 0.00 QPS,       --QPS：每秒查询数

0.00x concurrency,         --concurrency：该查询的近似并发值

ID 0x50EF20421A671146     --16进制查询的指纹，去掉了多余的空格和文本字符，转换成小写，使用--filter可以进行过滤

at byte 5592               --查询语句在日志文件中的偏移量，不一定精确，根据偏移量在日志文件中查询tail -c +5592 slowq.log |head

# This item is included in the report because it matches --limit.

# Scores: V/M = 0.00

# Time range: 2015-12-17 05:24:01 to 15:30:01

# Attribute     pct   total     min     max     avg     95%   stddev   median

--PCT：指的是执行语句占概要报告中的百分比，占有87%，一共执行了7次

# ============ === ======= ======= ======= ======= ======= ======= =======

# Count         87       7

# Exec time     50       7s       1s       1s       1s       1s     35ms       1s

# Lock time     93     1ms   142us   251us   188us   247us     38us   185us

# Rows sent       0       28       4       4       4       4       0       4

# Rows examine   91   2.19M 320.15k 320.55k 320.32k 312.96k       0 312.96k

# Rows affecte   0       0       0       0       0       0       0       0

# Bytes sent     0   10.10k   1.44k   1.44k   1.44k   1.44k       0   1.44k

# Query size     88   5.71k     836     836     836     836       0     836

# String:

# Databases     yoon         --数据库名

# Hosts

# Last errno   0

# Users         zhu_yoon     --执行语句用户

# Query_time distribution

#   1us

#   10us

# 100us

#   1ms

#   10ms

# 100ms

#     1s   ################################################################

#   10s+

# Tables

#     SHOW TABLE STATUS FROM `yoon` LIKE 'erp_order'\G

#     SHOW CREATE TABLE `yoon`.`erp_order`\G

#     SHOW TABLE STATUS FROM `yoon` LIKE 'erp_order_option'\G

#     SHOW CREATE TABLE `yoon`.`erp_order_option`\G

#     SHOW TABLE STATUS FROM `yoon` LIKE 'wms_order_sync'\G

#     SHOW CREATE TABLE `yoon`.`wms_order_sync`\G

#     SHOW TABLE STATUS FROM `yoon` LIKE 'jx_region'\G

#     SHOW CREATE TABLE `yoon`.`jx_region`\G

# EXPLAIN

SELECT eo.pay_status,(CASE WHEN eo.order_amount >0 THEN (eo.order_amount- eo.platform_discount) ELSE eo.order_amount END) codValue,eo.invoice_no,eo.consignee realName,eo.tel phone,eo.mobile,eo.zipcode postCode,eoo.auto_weight totalWeight,eoo.packages totalNumber,

jrp.region_name province,jrc.region_name city,IFNULL(jrd.region_name,eo.district_name)   county,eo.address address,eo.order_id OrderId

FROM erp_order eo 

JOIN erp_order_option eoo ON eo.order_id=eoo.order_id

JOIN wms_order_sync wos ON wos.OrderId=eo.order_id

LEFT JOIN jx_region jrp ON jrp.region_id=eo.province_id

LEFT JOIN jx_region jrc ON jrc.region_id=eo.city_id

LEFT JOIN jx_region jrd ON jrd.region_id=eo.district_id WHERE wos.IsValid=0 AND wos.DealFlag=0 

and eo.ware_id=5 

  AND eo.shipping_id=93 

  GROUP BY eo.order_id   ORDER BY eoo.sendtime DESC LIMIT 20\G

(1)直接分析慢查询文件:

pt-query-digest   slowq.log > slow_report.log

(2)分析最近12小时内的查询：

pt-query-digest   --since=12h   slowq.log > slow_report.log

(3)分析指定时间范围内的查询：

pt-query-digest slowq.log --since '2015-04-17 09:30:00' --until '2015-04-17 10:00:00'> > slow_report.log

(4)分析指含有select语句的慢查询

pt-query-digest--filter '$event->{fingerprint} =~ m/^select/i' slowq.log> slow_report.log

(5) 针对某个用户的慢查询

pt-query-digest--filter '($event->{user} || "") =~ m/^root/i' slowq.log> slow_report.log

(6) 查询所有所有的全表扫描或full join的慢查询

pt-query-digest--filter '(($event->{Full_scan} || "") eq "yes") ||(($event->{Full_join} || "") eq "yes")' slowq.log > slow_report.log

(7)把查询保存到query_review表

pt-query-digest   --user=root --password=abc123 --review   h=localhost,D=test,t=query_review--create-review-table   slowq.log

(8)把查询保存到query_history表

pt-query-digest   --user=root --password=abc123 --review   h=localhost,D=test,t=query_ history--create-review-table   slowq.log

pt-query-digest   --user=root --password=abc123--review   h=localhost,D=test,t=query_history--create-review-table   slowq.log

(9)通过tcpdump抓取mysql的tcp协议数据，然后再分析

tcpdump -s 65535 -x -nn -q -tttt -i any -c 1000 port 3306 > mysql.txt

pt-query-digest --type tcpdump mysql.txt> slow_report.log

(10)分析binlog

mysqlbinlog mysql-bin.000077 > mysql-bin000077.sql

pt-query-digest   --type=binlog   mysql-bin000077.sql > slow_report.log

(11)分析general log

pt-query-digest   --type=genlog   localhost.log > slow_report.log