Mysql队列数据库cpu wait IO高的问题排查经历

        这个mysql数据库是队列数据库,5.5.21版本，用于频繁的增删查操作。平时使用正常，但是在16日凌晨数据库服务器wait IO突然增高，由原来的7%飙到了34%。导致很多连接一直都处于等待状态。

1、排查了已知的配置参数，没有什么变动，配置也正常，没有离谱的。

2、又检查了索引，也是之前的操作，没有多大的变动。

3、后来又查询了慢语句，发现都是平时执行的那些普通的sql，没有特殊的。

4、网络有问题？异地操作和本地操作也没有多大变化，ping的响应时间也0.1ms左右。

5、分析之后又了解到普遍写很慢，平均等待大约得3-6s，哪怕是简单的根据主键删除操作；select读取操作倒是很快。

6、服务器问题？检查硬盘空间，才使用8%，raid也正常。SA人员说硬盘和cpu等正常，没与问题。

 

后来因为业务不熟，认为数据量又增大了，是参数的配置问题，就一直寻找mysql的关键参数，调整参数。

重启数据库过程中不能正常stop，即使启动了也报正常启动。认为不影响使用,是脚本的问题，就把这个问题跳过了。

查询了一天半夜都没有找到原因，个别的已经积压了将近千万的数据库了。。。

第二天再弄。

又查询参数，查询机器，都么有查询到任何问题。

都没有问题，晕死了。

换吧，换其他机器。半夜的时候打算换库，只听到有8个程序操作库，wait io还是在20%左右，然后把这8个程序操作的数据库该为新的库（数据、参数等都一样），wait io只有5%！！！

 

回想起原来数据库重启都有问题，在加上现在的情况，重装数据库。

 凌晨4点，解决了。。。

 

总结：

1、  细小的问题不要忽略，不要放过任何蛛丝马迹。

2、  数据库和服务器的知识还是很欠缺，导致问题查询不能完全排除，不够自信，有返工现象。浪费时间。

3、  数据库平时应该就做好数据备份，服务备用，找不到问题优先保证数据正常，不至于临时抓瞎。平时多做准备工作。平时多流汗,战时少流血。