mysql 阵列多盘_mysql磁盘IO%util 居高不下之RAID卡 BBU Learn Cycle周期

最近遇到一个奇怪的问题

收到短信报警说磁盘IO很高 复制延迟

iostat -x 1 10 信息如下:

QPS 如下：

负载很低  压力很低 这就很无解了。 只有一个MYSQL

其实这是个硬件问题 ，就是

MegaSAS RAID卡 BBU Learn Cycle周期

背景

最近遇到有些带MegaSAS RAID卡的服务器，在业务高峰时突然IO负载飚升得很高，IO性能急剧下降，查了日志及各种设置最后才发现是RAID卡的Cache写策略由WriteBack变成WriteThrough了。更深入的原因是BBU进入了Learn Cycle周期，自动把Cache策略改为WriteThrough.

WriteBack和WriteThrough

在开始之前，我需要提到两个词: WriteBack, WriteThrough

WriteBack：进行写操作时，将数据写入RAID卡缓存，并直接返回，RAID卡控制器将在系统负载低或者Cache满了的情况下把数据写入硬盘。该设置会大大提升RAID卡写性能，绝大多数的情况下会降低系统IO负载。 数据的可靠性由RAID卡的BBU(Battery Backup Unit)进行保证。

WriteThrough: 数据写操作不使用缓存，数据直接写入磁盘。RAID卡写性能下降，在大多数情况下该设置会造成系统IO负载上升。

MegaSAS RAID卡的Cache策略

对于LSI的MegaSAS RAID卡, 默认的Cache策略是: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU

如何查看RAID卡Cache策略

root@hostname:~ # ./MegaCli -LDInfo -Lall -aALL

Adapter 0 -- Virtual Drive Information:

Virtual Drive: 0 (Target Id: 0)

Name :

RAID Level : Primary-1, Secondary-0, RAID Level Qualifier-0

Size : 557.861 GB

Mirror Data : 557.861 GB

State : Optimal

Strip Size : 128 KB

Number Of Drives : 2

Span Depth : 1

Default Cache Policy: WriteBack, ReadAheadNone, Direct, No Write