客户反应数据异常,某些订单一会儿可以见,一会儿不可见!

用其中一个单号去几台从机一一查找,发现某台从机确实没有该数据!

SHOW SLAVE STATUS\G

没有发现任何异常!

Seconds_Behind_Master参数为0,就是sql线程没有落后于io线程,而且也对整个参数做了监控,没有发现报警,仍然没有发现问题!

在主库上执行

SHOW MASTER STATUS\G

发现从机的pos落后于主机的pos非常多

io进程和sql进程也处于活动状态,出现假死!

去主机查看mysql线程情况,

select * from information_schema.processlist  where state like '%log%' order by time ;

发现该从机的mysql线程已经不存在了,而从机的io线程和sql线程却没有检测出来这个情况!

为了尽快解决问题,将从机的主从复制重新启动:

stop slave;
start slave;

下午做巡检的时候,特地关注了这个问题,又发现有类似的情况!而且发现在多台从机上!

初步怀疑是mysql 5.1.67-log主从复制的一个bug,而我5.53版本的主从复制没有问题!

下个星期要重点解决这个问题了!看看到底是什么原因导致的!