lepus mysql 慢查询_天兔 -Lepus 慢查询分析平台配置

想要实现慢查询查询分析，需要在被监控端安装percona-toolkit工具。

1、被监控端安装软件包

yum -y install

perl-IO-Socket-SSL

yum -y install perl-DBI

yum -y install perl-DBD-MySQL

yum -y install perl-Time-HiRes

2、被监控端解压percona-toolkit工具包

[root@node1

src]# pwd

/usr/local/src

[root@node1

src]# tar

-xzf percona-toolkit-2.2.12.tar.gz

[root@node1

src]# ll

drwxrwxr-x 6

1000 1000 4096 Aug 17 16:19 percona-toolkit-2.2.12

-rw-r--r-- 1

root root 1392691 Aug 17 16:17 percona-toolkit-2.2.12.tar.gz

[root@node1

src]# ll

[root@node1

src]# cd

percona-toolkit-2.2.12

[root@node1

percona-toolkit-2.2.12]# perl Makefile.PL

[root@node1

percona-toolkit-2.2.12]# make && make

install

安装好之后，pt工具会在/usr/local/bin目录下(不同的pt版本安装的位置可能不同)

3、从监控端的/usr/local/lepus/client/mysql目录下把lepus_slowquery.sh脚本拷贝到被监控端(存放的位置没有要求，可以放在/usr/local/sbin目录下)

[root@node9

mysql]# scp lepus_slowquery.sh 192.168.2.225:/usr/local/sbin

4、在被监控端编辑scp过来的lepus_slowquery.sh脚本

[root@node1

sbin]# pwd

/usr/local/sbin

[root@node1

sbin]# vim

lepus_slowquery.sh         #下面蓝色字体是需要修改的，其他不用修改。

#config lepus database server#监控机配置

lepus_db_host="192.168.2.33"

#监控机的IP

lepus_db_port=3306     #监控机的端口号

lepus_db_user="lepus_user"

#监控机的用户名

lepus_db_password="123456"

#监控机的密码

lepus_db_database="lepus"

#使用的库

#config mysql

server         #被监控端配置

mysql_client="/usr/local/mysql/bin/mysql"

#mysql软件安装目录下，这个就是平时所用的mysql -uroot -proot123的那个mysql。

mysql_host="192.168.2.201"

#被监控端的IP

mysql_port=3306

#被监控端的端口号，生产中不要用这个，用别的

mysql_user="lepus_monitor"

#远程登录用户名

mysql_password="123456"     #密码

#config slowqury#被监控端慢查询日志配置(存放目录)

slowquery_dir="/log/mysql/"

#MySQL慢日志存放目录，也是被监控端存放lepus分析出来的慢查询日志存放目录

slowquery_long_time=1

#慢查询时间

slowquery_file=`$mysql_client -h$mysql_host

-P$mysql_port -u$mysql_user -p$mysql_password -e "show variables like

'slow_query_log_file'"|grep log|awk '{print $2}'`

pt_query_digest="/usr/local/bin/pt-query-digest"

#pt工具软件的安装目录下，安装的时候关注一下安装到的位置。

#config

server_id

lepus_server_id=271

#这个server_id指的是lepus监控平台所分配的id，需要通过下面的方式来查看，参考截图：

注意：

lepus_server_id，该值需要从系统中获取。进入MySQL服务器配置，在部署脚本的主机前查询到当前ID即为主机的server_id。

lepus_server_id必须和MySQL服务器配置里的对应服务器ID一一对应，否则您可能将无法查询到该主机的慢查询。

#collect

mysql slowquery log into lepus database

$pt_query_digest --user=$lepus_db_user

--password=$lepus_db_password --port=$lepus_db_port --review

h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review --history

h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review_history

--no-report --limit=100% --filter=" \$event->{add_column} =

length(\$event->{arg}) and \$event->{serverid}=$lepus_server_id "

$slowquery_file > /tmp/lepus_slowquery.log

##### set a

new slow query log ###########

tmp_log=`$mysql_client -h$mysql_host -P$mysql_port

-u$mysql_user -p$mysql_password -e "select

concat('$slowquery_dir','slowquery_',date_format(now(),'%Y%m%d%H'),'.log');"|grep

log|sed -n -e '2p'`

#config mysql

slowquery

$mysql_client

-h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global

slow_query_log=1;set global

long_query_time=$slowquery_long_time;"

$mysql_client

-h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global

slow_query_log_file = '$tmp_log'; "

#delete log

before 7 days

cd

$slowquery_dir

/usr/bin/find

./ -name 'slowquery_*' -mtime +7|xargs rm -rf ;

####END####

说明：

vim编辑结束保存之后需要变更脚本格式

显示当前的格式(默认为dos，这是不能执行的):set

ff?

修改为Unix(变更为unix之后，脚本才可以成功执行):set

fileformat=unix

:wq退出vim编辑器

5、测试，使用存储过程插入1万条数据或者查询一个数十万行的表，查询结束之后手动执行一下这个脚本，这样在监控界面上就可以看到结果了。(测试SQL参见文档底部)

[root@node1 sbin]# sh

lepus_slowquery.sh

6、测试成功之后，加入计划任务。因为慢查询做了按小时的切割，建议计划任务时间间隔在1小时之内。

[root@node1

sbin]# crontab -e

crontab:

installing new crontab

[root@node1

sbin]# crontab -l

*/5 * * * *

/bin/sh /usr/local/sbin/lepus_slowquery.sh > /dev/null

2>&1

7、开启慢查询分析

在MySQL服务器管理里面电击右侧的编辑按钮，进入服务器编辑界面。

配置slowquery为打开状态

配置完成后，稍等片刻，即可在慢查询分析平台查看该库的慢查询日志。

8、开启慢查询自动邮件推送

慢查询自动推送是指定时将系统收集到的慢查询TOP数据定时推送给相应开发人员或者DBA进行优化，不需要在每台数据库上部署脚本。

MySQL慢查询自动推送通过计划任务(crontab)完成。如果需要推送，则需要在监控机(lepus所在主机)部署如下计划任务。

——注1：www.xxx.com请替换成您自己的lepus监控WEB访问地址，以下只是做一个示范，请勿照搬。

——注2：若没有links命令，需要安装：yum -y install

links

示例：

lepus所在的监控机执行：links

http://118.178.191.219:81/index.php/task/send_mysql_slowquery_mail

此时会在你配置的邮件中收到慢查询的推送信息。

crontab中的示例：

00 08 * * * links

http://www.xxxx.com/index.php/task/send_mysql_slowquery_mail > /dev/null

2>&1

我的crontab内容：

*/5 * * * * /usr/bin/links

http://118.178.191.219:81/index.php/lp_mysql/slowquery > /dev/null

2>&1

计划任务部署完成后，则会按照计划任务配置的时间将慢查询推送给对应人员。

慢查询推送的邮件人员需要在MySQL主机配置里面设置即可，邮箱留空则该数据库主机不会发送慢查询推送。

部署完成后，在计划任务的时间到达，您就可以看到推送的慢查询邮件了。

邮件格式和内容如下所示：

参考计划任务的书写：0 8 * * * curl

http://118.178.191.219:81/index.php/task/send_mysql_slowquery_mail >/dev/null

2>&1

测试SQL：

1、创建两张表:

part_tab(分区表)、no_part_tab(普通表)

DROP TABLE IF

EXISTS part_tab;

CREATE TABLE

part_tab(

c1 int

default NULL,

c2

varchar(30) default NULL,

c3 date not

null)

PARTITION BY

RANGE(year(c3))

(PARTITION p0 VALUES LESS THAN (1995)

,

PARTITION p1

VALUES LESS THAN (1996) ,

PARTITION p2

VALUES LESS THAN (1997) ,

PARTITION p3

VALUES LESS THAN (1998) ,

PARTITION p4

VALUES LESS THAN (1999) ,

PARTITION p5

VALUES LESS THAN (2000) ,

PARTITION p6

VALUES LESS THAN (2001) ,

PARTITION p7

VALUES LESS THAN (2002) ,

PARTITION p8

VALUES LESS THAN (2003) ,

PARTITION p9

VALUES LESS THAN (2004) ,

PARTITION p10

VALUES LESS THAN (2010) ,

PARTITION p11

VALUES LESS THAN (MAXVALUE));

DROP TABLE IF

EXISTS no_part_tab;

CREATE TABLE

no_part_tab(

c1 int

default NULL,

c2

varchar(30) default NULL,

c3 date not

null);

2、用存储过程插入800万条数据

delimiter

$$

drop

procedure if exists `load_part_tab` $$

CREATE

PROCEDURE load_part_tab()

begin

declare v int

default 0;

while v <

8000000

do

insert into

part_tab

values

(v,'testingpartitions',adddate('1995-01-01',(rand(v)*36520)mod

3652));

set v = v +

1;

end

while;

end$$

delimiter

;

call

load_part_tab();