最近,数据库会报磁盘IO高的告警,但是cpu不高。
故障
● 主机名称: xxxx
● 告警信息: Disk I/O is overloaded on xxxx
● 告警时间: 2020.04.10-13:09:06
● 主机地址: xxxxxx
● 当前状态: 36.14 %
数据库磁盘io高时,执行的sql如下:
也就是数据库会批量的执行insert ignore into 语句。
可以看到,每个事务都在flushing log中,说明刷redo log比较慢。可能是redo log 比较小。
事实证明,innodb_log_file_size确实比较小,才50M,建议增大至2个4G。
继续分析:
上述看到log thread 挂起的fsync()操作数据为1,说明log thread刷盘有等待。
另外,last checkpoint落后于log flushed up to太多,接近于redo log文件的大小,这时会触发innodb疯狂刷redo,从而导致磁盘io高,对性能影响非常糟糕。
还有,这个数据库的innodb buffer pool也很小,使用的默认值为128M,也需要调大。
优化方法:
设置innodb_log_file_size=4G,设置innodb_buffer_pool_size=4G。
经过观察,数据库磁盘io高、cpu不高的问题消失。