记录一次阿里云 RDS的mysql的IOPS过高、CPU过高导致mysql连接失败的问题原因

我们公司是购买的阿里云的Mysql服务，前段时间mysql突然不可用了，大量的连接失败，导致功能异常，登陆阿里云控制台查看mysql的监控，发现cpu很高、IOPS使用率很高，当时第一感觉肯定是Mysql有大量的读写操作，来不及细想，马上重启Mysql恢复功能。

后面就开始分析问题原因，步骤如下。

1、下载Mysql的binlog文件，找到数据库实例，下载出现问题的那个时间段的日志

2、用代码将binlog二进制转换为可读文件，或者用mysqlbinlog 命令进行文件查看
代码：
maven 引入：

<dependency>
	<groupId>com.github.shyiko</groupId>
	<artifactId>mysql-binlog-connector-java</artifactId>
	<version>0.13.0</version>
</dependency>

java代码

import com.github.shyiko.mysql.binlog.BinaryLogFileReader;
import com.github.shyiko.mysql.binlog.event.Event;
import com.github.shyiko.mysql.binlog.event.deserialization.ChecksumType;
import com.github.shyiko.mysql.binlog.event.deserialization.EventDeserializer;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
class Sample {
    public static void main(String[] args) throws IOException {
        //输入的binlog文件地址
        String filePath="J:\\mysql-bin.004747";
        File binlogFile = new File(filePath);
        //输出的binlog文件的地址
        File file =new File("J:\\mysql-analysis.txt");
        FileWriter fw = new FileWriter(file.getAbsoluteFile());
        BufferedWriter bw = new BufferedWriter(fw);
        //binlog转换工具
        EventDeserializer eventDeserializer = new EventDeserializer();
        eventDeserializer.setChecksumType(ChecksumType.CRC32);
        BinaryLogFileReader reader = new BinaryLogFileReader(binlogFile, eventDeserializer);
        try {
            for (Event event; (event = reader.readEvent()) != null; ) {
                //只转换指定时间范围的日志
                if(event.getHeader().getTimestamp()>1609922100000l && event.getHeader().getTimestamp()<1609922400000l){
                    bw.write(event.toString()+"\t\n");
                }
            }
        } finally {
            reader.close();
            bw.close();
        }
    }
}

3、转换过后的日志文件如图：

4、进行日志分析，我们发现是因为有大量的操作fmsdb这个数据库的sql再跑，导致磁盘IO过大，最后MYSQL就出问题了，最后得知这是定时任务有问题，让相关人员整改

5、不用java代码也可以用命令
命令：
mysqlbinlog mysql-bin.00005 --startdatetime=‘2021/01/06 16:35:00’ --stopdatetime=‘2021/01/06 16:40:00’ --database=DB_name | grep -i -A 6 ‘id=111’