记录一次阿里云 rds的mysql的iops过高导致mysql连接失败的问题原因
我们公司是购买的阿里云的Mysql服务,前段时间mysql突然不可用了,大量的连接失败,导致功能异常,登陆阿里云控制台查看mysql的监控,发现cpu很高、IOPS使用率很高,当时第一感觉肯定是Mysql有大量的读写操作,来不及细想,马上重启Mysql恢复功能。
后面就开始分析问题原因,步骤如下。
1、下载Mysql的binlog文件,找到数据库实例,下载出现问题的那个时间段的日志
2、用代码将binlog二进制转换为可读文件,或者用mysqlbinlog 命令进行文件查看
代码:
maven 引入:
<dependency>
<groupId>com.github.shyiko</groupId>
<artifactId>mysql-binlog-connector-java</artifactId>
<version>0.13.0</version>
</dependency>
java代码
import com.github.shyiko.mysql.binlog.BinaryLogFileReader;
import com.github.shyiko.mysql.binlog.event.Event;
import com.github.shyiko.mysql.binlog.event.deserialization.ChecksumType;
import com.github.shyiko.mysql.binlog.event.deserialization.EventDeserializer;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
class Sample {
public static void main(String[] args) throws IOException {
//输入的binlog文件地址
String filePath="J:\\mysql-bin.004747";
File binlogFile = new File(filePath);
//输出的binlog文件的地址
File file =new File("J:\\mysql-analysis.txt");
FileWriter fw = new FileWriter(file.getAbsoluteFile());
BufferedWriter bw = new BufferedWriter(fw);
//binlog转换工具
EventDeserializer eventDeserializer = new EventDeserializer();
eventDeserializer.setChecksumType(ChecksumType.CRC32);
BinaryLogFileReader reader = new BinaryLogFileReader(binlogFile, eventDeserializer);
try {
for (Event event; (event = reader.readEvent()) != null; ) {
//只转换指定时间范围的日志
if(event.getHeader().getTimestamp()>1609922100000l && event.getHeader().getTimestamp()<1609922400000l){
bw.write(event.toString()+"\t\n");
}
}
} finally {
reader.close();
bw.close();
}
}
}
3、转换过后的日志文件如图:
4、进行日志分析,我们发现是因为有大量的操作fmsdb这个数据库的sql再跑,导致磁盘IO过大,最后MYSQL就出问题了,最后得知这是定时任务有问题,让相关人员整改
5、不用java代码也可以用命令
命令:
mysqlbinlog mysql-bin.00005 --startdatetime=‘2021/01/06 16:35:00’ --stopdatetime=‘2021/01/06 16:40:00’ --database=DB_name | grep -i -A 6 ‘id=111’