d3 tip mysql_mysql运维过程中的小tip [转载]

weixin_39923599

于 2021-01-21 07:40:58 发布

阅读量245

点赞数

文章标签： d3 tip mysql

本文链接：https://blog.csdn.net/weixin_39923599/article/details/113321864

版权

mysql运维过程中的小 tips

1.查询数据库不同引擎下表和索引的大小

select engine,count(*) table_num,

concat(truncate(sum(DATA_LENGTH/1024/1024),2),'MB') table_size,

concat(truncate(sum(INDEX_LENGTH/1024/1024),2),'MB') index_size ,

concat(truncate(sum(DATA_LENGTH/1024/1024)+sum(INDEX_LENGTH/1024/1024),2),'MB') total_size

from information_schema.tables

where TABLE_TYPE='BASE TABLE'

group by engine;

2.查询数据库用户的状态

mysql -uroot -p -e 'show processlist\G'|grep State|sort|uniq -c|sort -n

或

mysql -uroot -p -e ‘show processlist\G’|grep State|sort|uniq -c|sort -n

3.mysql>=5.5 查询锁阻塞的情况

select

r.trx_id,

r.trx_mysql_thread_id waiting_thread,

r.trx_query id,

b.trx_mysql_thread_id blocking_thread,

b.trx_query blocking_query

from

information_schema.innodb_lock_waits w

inner join

information_schema.innodb_trx b

on b.trx_id=w.blocking_trx_id

inner join

information_schema.innodb_trx r

on r.trx_id=w.requesting_trx_id;

+--------+----------------+------------------------------+-----------------+----------------+

+--------+----------------+------------------------------+-----------------+----------------+

| 527 | 17 | insert into lidan values (9) | 14 | NULL |

| 526 | 16 | insert into lidan values (6) | 14 | NULL |

=======================================================

4.通过抓包获取mysql协议包中的sql语句

表示输入的文件名(这里表示先输入文件，然后又输出到stdout)

5.批量修改存储引擎

/usr/local/mysql/bin/mysql_convert_table_format

将 28 行 $opt_type —-> $opt_engine

需要注意innodb 的外键和myisam的fulltext index

6.mysql 快速创建空表

在MYSQL中有两种方法。

1、create table select ...

2、create table like ...

第一种很多人都知道，第二种却很少人用。

第一种有个缺点

1、第一种会取消掉原来表的有些定义。

手册上是这么讲的：

Some conversion of data types might occur. For example, the AUTO_INCREMENT attribute is not preserved,

and VARCHAR columns can become CHAR columns.

7.观察mysql status 变量的变化情况

方法一，(推荐)

每三秒打印出innodb相关状态的变化情况，并且使用白色标示

watch -d -n 3 "mysqladmin -uroot -pxxx ext|egrep Innodb"

同样也是没三秒打印相关变化但是并没有白色标示

mysqladmin -uroot -p1111 -i 3 ext|egrep Innodb

8.left join 条件的区别

SELECT * FROM a LEFT JOIN b ON a.uid=b.uid_a WHERE b.password='abcd';

+-----+---------+----------+----------+-------+

+-----+---------+----------+----------+-------+

| 1 | 1000 | admin | abcd | 1 |

+-----+---------+----------+----------+-------+

1 ROW IN SET (0.00 sec)

mysql> SELECT * FROM a LEFT JOIN b ON a.uid=b.uid_a AND b.password='abcd';

+-------+---------+----------+----------+-------+

+-------+---------+----------+----------+-------+

| 1 | 1000 | admin | abcd | 1 |

+-------+---------+----------+----------+-------+

2 ROWS IN SET (0.00 sec)

WHERE 语句是在left join完成之后才执行的，所以它匹配不到NULL的行，ON语句是在left join之前执行。

9.多表关联删除

删除表aaa中id 与表t中id相同的数据

delete from aaa using t ,aaa where aaa.id=t.id ;

或

delete aaa ,t from aaa ,t where aaa.id=t.id ;

或

delete tt1 from t1 as tt1 , t2 as tt2 where tt1.id=tt2.id;

10.多表更新

只更新表bo

update bo , t_disc td SET bo.name='你' where bo.name=td.name;

同时更新两个表(线上环境不推荐同时更新多表)

update bo , t_disc td SET bo.name='你' ,td.name='你' where bo.name=td.name;

mysql对ip的存储

INET_ATON(expr)

给出一个作为字符串的网络地址的点地址表示，返回一个代表该地址数值的整数。地址可以是4或8比特地址。

SELECT INET_ATON('209.207.224.40');

-> 3520061480

产生的数字总是按照网络字节顺序。如上面的例子，数字按照 209×2563 + 207×2562 + 224×256 + 40 进行计算。

INET_ATON() 也能理解短格式 IP 地址：

mysql> SELECT INET_ATON('127.0.0.1'), INET_ATON('127.1');

-> 2130706433, 2130706433

注释：在存储由INET_ATON() 产生的值时，推荐你使用 INT UNSIGNED 列。假如你使用 (带符号) INT列,

则相应的第一个八位组大于127的IP 地址值会被截至 2147483647 (即, INET_ATON(‘127.255.255.255’) 所返回的值)。

INET_NTOA(expr)

给定一个数字网络地址 (4 或 8 比特),返回作为字符串的该地址的电地址表示。

mysql> SELECT INET_NTOA(3520061480);

-> '209.207.224.40'

11.myisam表count的优化

count查询

对于MYISAM中的SQL：

SELECT count(*) from city WHERE id > 2;

改写为：

SELECT (SELECT COUNT(*) FROM city) - count(*) FROM city where id <=2

数据量大的情况下，并且id最好为顺序增长的或是主键(或是索引)

因为misam表count(*)会作为一个常量存储所以会很快

12.group_concat 函数的使用

select id,group_concat(name) name from tb group by id;

1,a1

1,a2

2,b1

2,b2

结果是

id name

1 a1,a2

2 b1,b2

上边的函数可以实现查询结果

另外用group_concat的时候请注意，连接起来的字段如果是int型，一定要转换成char再拼起来，

否则在你执行后返回的将不是一个逗号隔开的串，而是byte。需要注意的是如果不带group by

那么函数就是对列的所有值进行连接

13.下面的命令，可以杀死当前用户bbs正在运行的连接)

已验证

mysqladmin -uroot -p processlist|awk -F "|" '{if($3~/bbs/)print $2}'|xargs -n 1 mysqladmin -uroot -p kill

升级版：

kill 用户名为haha 执行时间超过50秒的select 语句

mysqladmin -uroot -pxxx processlist|awk -F "|" '/select/{if($3~/haha/ && $7 > 50)print $2}'|xargs -n 1 mysqladmin -uroot -pxxx kill

14.脚本实现qps，tps的查看 (适合5.1~5.5)

mysqladmin -uroot -pxxxx extended-status -i1 |\

awk 'BEGIN{print " QPS Com_commit Com_rollback Threads_con Threads_run TPS\n \

---------------------------------------------------------------------------\n"} \

/Queries/{q=$4-qp;qp=$4}\

/Com_commit/{com=$4-qc;qc=$4}\

/Com_rollback/{rol=$4-cr;cr=$4}\

/Threads_connected/{tc=$4}\

/Threads_running/{printf "%5d %5d %10d %15d %15d %10d\n",q,com,rol,tc,$4,com + rol}'

上面的是5.1的 5.5的参数增加了很多需要修改

mysqladmin -uroot -pxxx extended-status -i1|\

awk 'BEGIN{print " QPS Com_commit Com_rollback Threads_con Threads_run TPS\n \

---------------------------------------------------------------------------\n"} \

/Queries/{q=$4-qp;qp=$4}\

/Com_commit/{com=$4-qc;qc=$4}\

/Com_rollback /{rol=$4-cr;cr=$4}\

/Threads_connected/{tc=$4}\

/Threads_running/{printf "%5d %5d %10d %15d %15d %10d\n",q,com,rol,tc,$4,com + rol}'

注意rollback后面的空格，另外你可能一直看到TPS对应的值为0，原因是：

计算TPS公式(com_commit+com_rollback)/time 这种计算方法必须有一个前提条件是：所有的事务必须是显示提交的，

如果存在隐式的提交和会滚(默认autocommit=1，或者value为on)可以看到Com_commit 始终为0 ，这就是隐式提交的时候，

不计入com_commit和com_rollback中的。

15.not in 查询的一个改写方式

mysql> select d.* from d where name<>'1' and id not in (select id from e);

+----+------+

| id | name |

+----+------+

| 9 | 9 |

| 19 | 19 |

+----+------+

2 rows in set (0.00 sec)

改装后

mysql> select d.id ,d.name,e.id,e.name from d left join e on d.id=e.id where d.name<>’1’ and e.id is null;

+——+———+———+———+

| id | name | id | name |

+——+———+———+———+

| 9 | 9 | NULL | NULL |

| 19 | 19 | NULL | NULL |

+——+———+———+———+

2 rows in set (0.00 sec)

16.一条语句删除重复记录的方式

number_id 和number_Pstn_Backup 相同就表示重复而id表示主键

==嵌套子查询写法

delete k from imeet_test as k ,

(select a.id from imeet_test a where a.id

) as m where k.id=m.id;

==相关子查询写法

explain select a.id from imeet_test a ,(select max(b.id) id ,b.number_id,b.number_Pstn_Backup from imeet_test b group by b.number_id,

b.number_Pstn_Backup having count(1)>1) as c where a.number_id= c.number_id and a.number_Pstn_Backup= c.number_Pstn_Backup

and a.id

17.时间取值

前一天

select now()-interval 1 day

取上一个月的第一天

select date_sub(date_format(now(),'%y-%m-01'),interval 1 month);

select date_add(date_add(last_day(now()),interval 1 day),interval -2 month);

select date_sub(date_sub(date_format(now(),'%y-%m-%d'),interval extract(day from now())-1 day),interval 1 month);

上个月的最后一天

select last_day(now()-interval 1 month);

select date_add(last_day(now()),interval -1 month);

select date_sub(date_sub(date_format(now(),'%y-%m-01'),interval 0 month),interval 1 day);

select date_add(date_sub(date_format(now(),'%y-%m-01'),interval 0 month),interval -1 day);

select date_sub(date_sub(date_format(now(),'%y-%m-%d'),interval extract(day from now()) day),interval 0 month) as dt

本周第一天：

select date_add(curdate(),interval (WEEKDAY(curdate()) + 1)*-1day) ;

select date_sub(curdate(),interval WEEKDAY(curdate()) + 1day) ;

本周最后一天

select date_sub(curdate(),interval WEEKDAY(curdate()) - 5 day);

select date_add(curdate(),INTERVAL (WEEKDAY(curdate()) - 5)*-1 day);

前一周的最后一天

select date_sub(curdate(),interval WEEKDAY(curdate()) + 2 day)

其他的可以类推

18.查看分区表的执行计划

查看分区的执行计划 EXPLAIN PARTITIONS SELECT * FROM trb1 WHERE id < 5\G

但是记得住不能让两个关键字PARTITIONS 和 EXTENDED 同时出现在explain里

19.备库临时表问题

slave重启的时候要检查是否有临时表show status like ‘%Slav_open_temp_tables%’ 必须为0才能够正常重启

否则可能导致报错或数据不一致

20.mysqldump注意事项

1，mysqldump 默认不会导出 INFORMATION_SCHEMA 库，但是在5.5之后可以在db

列表显示指定该库名并且加上 --skip-lock-tables 参数

2，5.5.25之前mysqldump 是不导出mysql系统库的general_log 和 slow_query_log 表，而在此之后mysqldump会生成

重建语句因此在reload 的时候这两个表不会丢失，但是表内容为空。

3，mysqldump 可以导出为cvs 和xml格式，对于导出为xml格式对配置文件的管理是一个不错的应用

20.mysql需要的最大内存

服务器允许的最大连接数，尽量不要设置太大，因为设置太大的话容易导致内存溢出，需要通过如下公式来确定：

SET @k_bytes = 1024; SET @m_bytes = @k_bytes * 1024; SET @g_bytes = @m_bytes * 1024; SELECT ( @@key_buffer_size + @@query_cache_size + @@tmp_table_size+ @@innodb_buffer_pool_size + @@innodb_additional_mem_pool_size+ @@innodb_log_buffer_size+ @@max_connections * ( @@read_buffer_size + @@read_rnd_buffer_size + @@sort_buffer_size+ @@join_buffer_size + @@binlog_cache_size + @@thread_stack ) ) / @g_bytes AS MAX_MEMORY_USED_GB;

21.mysql实现oracle的count() over()

select a.*,b.c_s from c_over a ,(select d ,d2 ,count(*) c_s from c_over group by d,d2 ) as b where a.d=b.d and a.d2=b.d2 order by a.name desc

+---------------------+---------------------+------+-----+

| d | d2 | name | c_s |

+---------------------+---------------------+------+-----+

| 2013-12-30 18:27:55 | 2013-12-30 18:27:55 | ee | 2 |

| 2013-12-30 18:27:55 | 2013-12-30 18:27:55 | dd | 2 |

| 2013-12-30 18:27:48 | 2013-12-30 18:27:44 | bb | 2 |

| 2013-12-30 18:27:30 | 2013-12-30 18:27:30 | aa | 1 |

| 2013-12-30 18:27:48 | 2013-12-30 18:27:44 | aa | 2 |

+---------------------+---------------------+------+-----+

22.mysql实现oracle 的row_number() over()

select a.id ,a.d ,if(@od=a.d,@rank:=@rank+1,@rank:=1) num ,@od:=a.d from (select id ,d from number c order by c.id) as a ,(select @od:=null,@rank:=0 ) as b;

+----+---------------------+------+---------------------+

| id | d | num | @od:=a.d |

+----+---------------------+------+---------------------+

| 1 | 2013-12-30 17:14:11 | 1 | 2013-12-30 17:14:11 |

| 2 | 2013-12-30 17:14:18 | 1 | 2013-12-30 17:14:18 |

| 3 | 2013-12-30 17:14:28 | 1 | 2013-12-30 17:14:28 |

| 4 | 2013-12-30 17:14:28 | 2 | 2013-12-30 17:14:28 |

| 5 | 2013-12-30 17:15:33 | 1 | 2013-12-30 17:15:33 |

| 6 | 2013-12-30 17:15:33 | 2 | 2013-12-30 17:15:33 |

| 7 | 2013-12-30 17:15:33 | 3 | 2013-12-30 17:15:33 |

+----+---------------------+------+---------------------+

23.mysqldump 的时候忽略某些表

mysqldump -uroot -pxxx --ignore-table=db_name.table_name1 --ignore-table=db_name.table_name2 ... ...

即每一个表需要完整的写一遍，而不是 —ignore-table=db_name.table_name1 ，db_name.table_name2 挺土鳖的

24.修改mysql默认值无需copy表，是不是终于可以在oracle dba面前嘚瑟一下了

alter table tt modify t timestamp default '0000-00-00 00:00:00';

Query OK, 0 rows affected (0.03 sec)

Records: 0 Duplicates: 0 Warnings: 0

用modify 修改默认值 1572864 记录瞬间完成

如果你喜欢使用change那也行，多打几个字

25.查询会话时间超过10秒的top 10 SQL

select* from PROCESSLIST where command<>"Sleep" and time >10 AND DB is not null order by TIME desc limit 10;

26.explain 的时候，对于子查询，优化器会先去执行子查询，得到结果集后，再将结果与其他部分进行计算。

参考： explain select sleep(2) 和 explain select * from (select sleep(2)) as a ;

27.mysql 实现时间计算迭代

select to_char(add_months(to_date('201301','yyyymm'),level-1),'yyyymm') yyyymm from dual connect by level <13;

改写如下：

select date_format(date_add(now() ,interval f.seq month),'%Y%m') as m from (select ifnull(@rank,0),@rank:=@rank+1 as seq from (select 1 from dual union all select 0 from dual) as a ,(select 1 from dual union all select 0 from dual) as b,(select 1 from dual union all select 0 from dual) as c,(select 1 from dual union all select 0 from dual) as d,(select @rank:=0) as e ) as f where f.seq<=12;

结果集：

+--------+

| m |

+--------+

| 201403 |

| 201404 |

| 201405 |

| 201406 |

| 201407 |

| 201408 |

| 201409 |

| 201410 |

| 201411 |

| 201412 |

| 201501 |

| 201502 |

+--------+

28.mysql复制延迟参数的真正含义

long time_diff= ((long)(time(0) - mi->rli.last_master_timestamp)- mi->clock_diff_with_master);

mi->clock_diff_with_master=(long) (time((time_t*) 0) - strtoul(master_row[0], 0, 10));

结论：

seconds_behind_master=(slave系统时间-master执行最新event的timestamp)-(slave系统时间-master系统时间)

(slave系统时间-master执行最新event的timestamp):得到最新event到slave执行还要多久。

(slave系统时间-master系统时间):可能存在主备系统时间差别，所以计算seconds_behind_master要减去，但实际情况，slave和master系统时间基本一致，得到结果应该接近0

文档中这句误导很多人计算seconds_behind_master

If the network is slow, this is not a good approximation; the slave SQL thread may quite often be caught up with the slow-reading slave I/O thread, so Seconds_Behind_Master often shows a value of 0

29.关于INSERT INTO ON DUPLICATE KEY UPDATE的问题

很多小伙伴都知道该语句的用法是如果插入的数据和UNIQUE索引或PRIMARY KEY

重复则进行更新，但是如果是扩展插入好像不常见

INSERT INTO TABLE (a,b,c) VALUES

(1,2,3),

(4,5,6),

ON DUPLICATE KEY UPDATE b=VALUES(b);

测试数据：

select * from group_t;

+------+-----+------+

| id | id2 | id3 |

+------+-----+------+

| 2 | 1 | 10 |

| 1 | 2 | 2 |

| 1 | 3 | 2 |

| 3 | 4 | 4 |

| 2 | 5 | 10 |

+------+-----+------+

insert into group_t values (1,1,1),(1,2,1) ON DUPLICATE KEY update id3=values(id3);

select * from group_t;

+------+-----+------+

| id | id2 | id3 |

+------+-----+------+

| 2 | 1 | 1 |

| 1 | 2 | 1 |

| 1 | 3 | 2 |

| 3 | 4 | 4 |

| 2 | 5 | 10 |

+------+-----+------+

总结

weixin_39923599

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
d3 tip mysql_mysql运维过程中的小tip [转载]

mysql运维过程中的小 tips1.查询数据库不同引擎下表和索引的大小select engine,count(*) table_num,concat(truncate(sum(DATA_LENGTH/1024/1024),2),'MB') table_size,concat(truncate(sum(INDEX_LENGTH/1024/1024),2),'MB') index_size ,con...
复制链接

扫一扫