[MySQL 工具] 备库预热工具relayfetch及错误处理工具seh

今年上半年，由于线上许多实例存在主备延迟，并且经常有备库复制中断导致DBA同学需要半夜起来处理，出于这样的需求，所以写了这两个工具，不过严格来讲，seh算是relayfetch的衍生品。

两个工具都可以从如下地址checkout：

http://code.google.com/p/relay-fetch/

Relayfetch

由于在备库上（尤其是没有读写负载的备库）SQL线程是单线程的，比较悲观的情况是，需要从磁盘读取数据，然后再做DML。当数据量远大于buffer pool的大小时，这种磁盘IO开销尤为明显。

通常的作法是将binlog中的事件转换成select操作，目前社区也有很多类似的工具，不过都是只支持STATEMENT模式，如果你是基于STATEMENT模式复制的话，可以在主备产生延迟时，挑一个用。

为了不重复发明轮子，relayfetch主要用于支持row模式(只支持简单的statement模式，没做充分测试)，通过解析binlog中的DELETE_ROWS_EVENT/UPDATE_ROWS_EVENT/WRITE_ROWS_EVENT，获取其中的primary key和unique key，然后转换成select语句，使用多线程执行select，默认5个线程，能够控制预热不会“走的太快”。

当然备库预热并不总是有效果的，也有一些限制：

1、如果buffer pool足够大到容纳大部分数据/热点数据的话，可能没什么效果（瓶颈不在磁盘IO）

2、需要有主键或者唯一键

3、对insert操作产生的延迟预热效果不明显，尤其是连续插入（但对存在多个唯一键(包括主键)会有不错的效果，因为按照主键顺序插入时，唯一键上的INSERT可能是随机的IO）

4、目前主要针对ROW模式预热，基于STATEMENT模式的同学请自行谷歌目前社区的预热工具

 

Seh备库错误处理工具

写这个工具的初衷是由于各种原因（复制bug，人为失误，主备切换导致数据丢失等等。。。）备库经常会出现复制中断，DUPLICATE KEY和KEY NOT FOUND错误应该是比较常见的（对应的错误码为1062和1032）

通常的处理办法是设置sql_slave_skip_counter来跳过错误，但这样明显的会产生主备数据不一致。seh不是跳过错误，而是将导致错误的数据补上。

seh通过解析binlog，找到发生错误的事件，对于找不到键的错误，将相应的记录补上。代码里面还实现了处理重复键的代码，不过没有开启（删除记录太暴力。。。。），对于重复键错误，如果是插入操作导致的，可以通过将slave_exec_mode设置为IDEMPOTENT来解决。

同样seh需要表上有主键存在，并且无法处理同时存在主键错误和唯一键冲突的情况，例如丢失的记录上如果有唯一键并且和已有记录冲突时，就会补数据失败。

有兴趣的同学可以玩一下这两个工具，有问题的话可以在google code上提交issue，或邮件我.