mysql数据库 purge_MySQL 研究innodb_max_purge_lag分享

现象：

线上数据库每个表分配一个ibdata,但是总的ibdata文件很大，超过10G，用相关工具查看，大部分空间都是undo_log

分析了db33的ibdata1的记过

Total number of page: 2398464: 2.4M的page * 16K = 38G

Insert Buffer Free List: 2659

B-tree Node: 5720

Freshly Allocated Page: 12725

Undo Log Page: 2352027

File Segment inode: 25333

可以看到绝大部分的空间，都是被undo log占用了....

分析：

undo log 过大 看来是Mysql的一个“problematic feature” 从03年到现在一直都有人抱怨这个问题。有补丁(需要自己修改源码编译)，但是不知道是否可靠...

http://bugs.mysql.com/bug.php?id=57611

http://bugs.mysql.com/bug.php?id=1341

出现的原因的一个可能原因：purge 线程赶不上速度，没有即使回收不用的undo page。可以增加一些

这里面http://bugs.mysql.com/bug.php?id=45173 有人提出一些优化参考的方案：

增大innodb_io_capacity (mysq 5.0不支持 5.1才有)

设置独立的purge thread mysql 5.0不支持，5.5才有

调节 innodb_max_purge_lag 这个值表明，当purge赶不上写操作的时候，写操作delay的时间指标，我们是0，表示不等待，有可能大并发写，purge落后

查看了一下文档，结论：不推荐用innodb_max_purge_lag来实现undo log扩充的问题。

主要原因如下：

1，innodb_max_purge_lag调节参数不好设定，调整不好会强烈影响到正常insert,update的时效，得不偿失

2，innodb_max_purge_lag，有人实验证明，该参数调节影响不是很大，对delete,insert没有作用，副作用大，强烈不推荐 http://mysqldump.azundris.com/archives/81-DELETE,-innodb_max_purge_lag-and-a-case-for-PARTITIONS.html

undo log较大的原因是：

1，Mysql 每10S操作一次purge

2，每次purge mysql做多回收20 page 的undo log

如果10S之内删除,update的数据操作20 page，也就是320K的东西,就会出现purge 回收不及时的情况，就会出现undo log过大。

对应的 queue表，是删除过一次，平均queue数据长度为292 因此只要1S删除queue表超过100行，就会出现上述情况。因此只要线上大规模 delete 数据就会出现删除不干净的情况。

解决方案：

1，delete操作，脚本控制，不要一口气删除感觉，要sleep，控制在1S删除100条的速度  这个已经证明是一个非常好的方案。删除短信数据的时候，如果速度过快，ibdata显著增加，如果控速适当，该文件是根本不会增加的

2, 如果是全表删除，推荐truncate，ddl不会写undo

3, 如果是delete + where 删除的需求，也可以考虑建立新表，导入部分旧表数据＋truncate 旧表的方式，

4, DAO层面支持分表操作，彻底去掉删除大表数据这种事情

分享到：

2013-01-16 17:39

浏览 5055

分类:数据库

评论